标题:草稿链替代思维链,推理token减少80%,显著降低成本和延迟
推理token减少80%-90%,准确率变化不大,某些任务甚至提升。Zoom团队提出“草稿链”,一种思维链替代方案,显著降低延迟和算力成本。草稿链通过生成简洁、信息密集的token简化推理过程,灵感源自人类解题时的简略思考方式。该方法易于实现,无需修改模型或微调,只需更新提示词示例,并已开源。草稿链保留了可解释性,适用于闭源模型。第三方分析显示,对于每月处理100万推理请求的企业,成本可从3800美元降至760美元。
实验验证了草稿链的有效性。在GSM8k数据集上,GPT-4o和Claude 3.5 Sonnet的准确率分别提升至91%。草稿链将token使用量从200个降至40个,减少约80%。延迟方面,GPT-4o和Claude 3.5 Sonnet的平均延迟分别降低76.2%和48.4%。其他任务如日期理解和运动理解也取得相似成果,Claude 3.5 Sonnet的准确率有所提高。符号推理任务中,草稿链保持100%准确率的同时大幅减少token和延迟。
然而,草稿链在零样本设置下的有效性有限,且在小模型上的性能差距更大。这可能是因为训练数据中缺乏草稿链风格的推理模式。
原文链接
本文链接:https://kx.umi6.com/article/15219.html
转载请注明文章出处
相关推荐
换一换
草稿链代替思维链,推理token砍掉80%,显著降低算力成本和延迟
2025-03-11 14:31:21
世界模型成AGI关键 算力成本、数据质量成两大桎梏
2025-06-06 14:33:11
AI的杰文斯悖论,离成立还差一个英伟达
2025-03-18 17:46:54
饥渴的大厂,面对大模型还需新招
2025-04-30 22:05:11
消息称因 AI 回答不靠谱,亚马逊 Alexa 升级版将推迟上线
2025-02-16 08:18:05
大模型太“烧钱”,OpenAI据称今年将亏损50亿美元,算力成本或高达70亿美元,占总运营成本八成以上
2024-07-26 16:14:45
AI将取代40%白领类职业,跨越两条“生死线”
2025-01-14 20:17:15
从1纳秒到2天:你的系统延迟“合理”吗?
2024-07-13 16:11:10
仅需一块GPU,李飞飞最新世界模型来了
2025-10-17 18:25:16
OpenAI的命门,决定了大模型公司的未来
2025-09-03 14:48:12
吴泳铭乌镇峰会发言:AI时代阿里巴巴专注做好两件事
2024-11-20 20:20:18
Reddit 起诉 Perplexity,指控后者未经授权为 AI 抓取和使用数据
2025-10-23 16:09:59
神州信息等成立科技公司 含智能机器人研发业务
2025-10-24 14:41:32
541 文章
281814 浏览
24小时热文
更多
-
2025-10-25 08:14:19 -
2025-10-24 22:57:14 -
2025-10-24 21:54:02