1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:草稿链替代思维链,推理token减少80%,显著降低成本和延迟

推理token减少80%-90%,准确率变化不大,某些任务甚至提升。Zoom团队提出“草稿链”,一种思维链替代方案,显著降低延迟和算力成本。草稿链通过生成简洁、信息密集的token简化推理过程,灵感源自人类解题时的简略思考方式。该方法易于实现,无需修改模型或微调,只需更新提示词示例,并已开源。草稿链保留了可解释性,适用于闭源模型。第三方分析显示,对于每月处理100万推理请求的企业,成本可从3800美元降至760美元。

实验验证了草稿链的有效性。在GSM8k数据集上,GPT-4o和Claude 3.5 Sonnet的准确率分别提升至91%。草稿链将token使用量从200个降至40个,减少约80%。延迟方面,GPT-4o和Claude 3.5 Sonnet的平均延迟分别降低76.2%和48.4%。其他任务如日期理解和运动理解也取得相似成果,Claude 3.5 Sonnet的准确率有所提高。符号推理任务中,草稿链保持100%准确率的同时大幅减少token和延迟。

然而,草稿链在零样本设置下的有效性有限,且在小模型上的性能差距更大。这可能是因为训练数据中缺乏草稿链风格的推理模式。

原文链接
本文链接:https://kx.umi6.com/article/15219.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
AI将取代40%白领类职业,跨越两条“生死线”
2025-01-14 20:17:15
AI的杰文斯悖论,离成立还差一个英伟达
2025-03-18 17:46:54
大模型太“烧钱”,OpenAI据称今年将亏损50亿美元,算力成本或高达70亿美元,占总运营成本八成以上
2024-07-26 16:14:45
OpenAI的命门,决定了大模型公司的未来
2025-09-03 14:48:12
吴泳铭乌镇峰会发言:AI时代阿里巴巴专注做好两件事
2024-11-20 20:20:18
世界模型成AGI关键 算力成本、数据质量成两大桎梏
2025-06-06 14:33:11
从1纳秒到2天:你的系统延迟“合理”吗?
2024-07-13 16:11:10
消息称因 AI 回答不靠谱,亚马逊 Alexa 升级版将推迟上线
2025-02-16 08:18:05
饥渴的大厂,面对大模型还需新招
2025-04-30 22:05:11
草稿链代替思维链,推理token砍掉80%,显著降低算力成本和延迟
2025-03-11 14:31:21
Anthropic停服 智谱回应推出“Claude API 用户特别搬家计划”
2025-09-05 19:25:32
AI生成苹果Metal内核,PyTorch推理速度提升87%
2025-09-05 11:17:03
别只用Nano Banana 生图了,视频生成才是王炸组合,这些隐藏玩法真香
2025-09-05 12:19:55
24小时热文
更多
扫一扫体验小程序