标题:开源模型真的更“浪费”token吗?
正文:
近期研究发现,像DeepSeek-R1等开源模型在回答问题时往往显得不够“节制”,尤其是在简单问题上,容易陷入过于复杂的思考。这种冗长的推理过程可能导致其单位token成本优势被抵消。
NousResearch团队的研究试图解答一个关键问题:开源模型是否比闭源模型消耗更多token?结果表明,在回答无需复杂推理的知识题时,DeepSeek-R1-0528消耗的token数量是基准水平的4倍;而在数学题或逻辑谜题中,这一差距缩小至2倍左右。这说明任务类型显著影响token消耗效率。
类似现象也被AI招聘公司Mercor的研究证实。在衡量大模型生产力的APEX-v1.0基准中,Qwen-3-235B和DeepSeek-R1的输出长度远超其他模型。尽管它们通过深度思考提升了准确性,但也付出了更高的token成本。
那么,开源模型是否经济?可以用一个公式概括:AI完成任务的收益 = token兑现的价值 - 单位token成本 × 消耗token数量。token兑现的价值取决于模型解决实际问题的能力及问题的重要性,而单位token成本则受硬件优化、算法改进等因素影响。
美国在降低单位token成本方面表现突出,例如英伟达自研HBM裸片、OpenAI与SK海力士合作开发高效芯片等。而中国开源社区更注重算法创新,如阿里巴巴的Qwen3-Next架构大幅提升了推理效率,DeepSeek V3.2-Exp则通过DSA机制降低了成本。
然而,token消耗过多的问题不容忽视。它不仅增加能耗,还可能导致响应时间延长,甚至限制模型处理复杂任务的能力。微软研究表明,软硬件优化可显著降低每次查询的能耗,但随着多模型和智能体的普及,token消耗仍可能成为瓶颈。
中美在token经济学上的路径已逐渐分岔。中国开源模型倾向于用更多token换取更高性能,而美国闭源模型则专注于降低成本。从DeepSeek R1到R1-0528,总token消耗持续上升;相比之下,Anthropic和OpenAI的模型迭代则更注重减少token使用。
综合来看,开源模型在低定价区间仍具成本优势,但在高定价场景下,尤其面对简单问题时,其经济性不再明显。结合中国的算力生态,开源模型的高token消耗可能进一步放大碳排放等环境问题。未来,AI的真正竞争力将取决于经济性——用尽可能少的token解决最有价值的问题。
.png)

-
2025-10-11 22:34:05
-
2025-10-11 21:33:05
-
2025-10-11 20:32:50