标题:草稿链替代思维链,推理token减少80%,显著降低成本和延迟
推理token减少80%-90%,准确率变化不大,某些任务甚至提升。Zoom团队提出“草稿链”,一种思维链替代方案,显著降低延迟和算力成本。草稿链通过生成简洁、信息密集的token简化推理过程,灵感源自人类解题时的简略思考方式。该方法易于实现,无需修改模型或微调,只需更新提示词示例,并已开源。草稿链保留了可解释性,适用于闭源模型。第三方分析显示,对于每月处理100万推理请求的企业,成本可从3800美元降至760美元。
实验验证了草稿链的有效性。在GSM8k数据集上,GPT-4o和Claude 3.5 Sonnet的准确率分别提升至91%。草稿链将token使用量从200个降至40个,减少约80%。延迟方面,GPT-4o和Claude 3.5 Sonnet的平均延迟分别降低76.2%和48.4%。其他任务如日期理解和运动理解也取得相似成果,Claude 3.5 Sonnet的准确率有所提高。符号推理任务中,草稿链保持100%准确率的同时大幅减少token和延迟。
然而,草稿链在零样本设置下的有效性有限,且在小模型上的性能差距更大。这可能是因为训练数据中缺乏草稿链风格的推理模式。
原文链接
本文链接:https://kx.umi6.com/article/15219.html
转载请注明文章出处
相关推荐
换一换
AI 视频背后的“豪赌”:消息称 OpenAI Sora 日均烧钱 1500 万美元
2025-11-11 21:30:11
AI将取代40%白领类职业,跨越两条“生死线”
2025-01-14 20:17:15
OpenAI的命门,决定了大模型公司的未来
2025-09-03 14:48:12
谷歌更新Gemini API定价 按推理使用分档计费
2026-04-03 15:09:30
吴泳铭乌镇峰会发言:AI时代阿里巴巴专注做好两件事
2024-11-20 20:20:18
Token低价陷阱
2026-06-19 00:51:25
AI短剧《霍去病》火了!制作成本仅3000元、播放量引热议
2026-03-10 17:40:28
仅需一块GPU,李飞飞最新世界模型来了
2025-10-17 18:25:16
饥渴的大厂,面对大模型还需新招
2025-04-30 22:05:11
AI的杰文斯悖论,离成立还差一个英伟达
2025-03-18 17:46:54
世界模型成AGI关键 算力成本、数据质量成两大桎梏
2025-06-06 14:33:11
高盛:企业级智能体将推动全球Token消耗量在五年内增长24倍
2026-05-07 18:36:44
美国程序员用AI做游戏倒欠公司55万 老板一句话造就神级营销
2026-07-03 20:16:40
768 文章
1054999 浏览
24小时热文
更多
-
2026-10-22 15:53:37 -
2026-10-22 15:52:14 -
2026-10-22 15:50:48