1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:草稿链替代思维链,推理token减少80%,显著降低成本和延迟

推理token减少80%-90%,准确率变化不大,某些任务甚至提升。Zoom团队提出“草稿链”,一种思维链替代方案,显著降低延迟和算力成本。草稿链通过生成简洁、信息密集的token简化推理过程,灵感源自人类解题时的简略思考方式。该方法易于实现,无需修改模型或微调,只需更新提示词示例,并已开源。草稿链保留了可解释性,适用于闭源模型。第三方分析显示,对于每月处理100万推理请求的企业,成本可从3800美元降至760美元。

实验验证了草稿链的有效性。在GSM8k数据集上,GPT-4o和Claude 3.5 Sonnet的准确率分别提升至91%。草稿链将token使用量从200个降至40个,减少约80%。延迟方面,GPT-4o和Claude 3.5 Sonnet的平均延迟分别降低76.2%和48.4%。其他任务如日期理解和运动理解也取得相似成果,Claude 3.5 Sonnet的准确率有所提高。符号推理任务中,草稿链保持100%准确率的同时大幅减少token和延迟。

然而,草稿链在零样本设置下的有效性有限,且在小模型上的性能差距更大。这可能是因为训练数据中缺乏草稿链风格的推理模式。

原文链接
本文链接:https://kx.umi6.com/article/15219.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
吴泳铭乌镇峰会发言:AI时代阿里巴巴专注做好两件事
2024-11-20 20:20:18
Token低价陷阱
2026-06-19 00:51:25
OpenAI的命门,决定了大模型公司的未来
2025-09-03 14:48:12
AI短剧《霍去病》火了!制作成本仅3000元、播放量引热议
2026-03-10 17:40:28
高盛:企业级智能体将推动全球Token消耗量在五年内增长24倍
2026-05-07 18:36:44
AI 视频背后的“豪赌”:消息称 OpenAI Sora 日均烧钱 1500 万美元
2025-11-11 21:30:11
美国程序员用AI做游戏倒欠公司55万 老板一句话造就神级营销
2026-07-03 20:16:40
谷歌更新Gemini API定价 按推理使用分档计费
2026-04-03 15:09:30
消息称因 AI 回答不靠谱,亚马逊 Alexa 升级版将推迟上线
2025-02-16 08:18:05
AI将取代40%白领类职业,跨越两条“生死线”
2025-01-14 20:17:15
仅需一块GPU,李飞飞最新世界模型来了
2025-10-17 18:25:16
AI 太烧钱!微软选择「倒戈」DeepSeek
2026-06-22 11:40:33
AI的杰文斯悖论,离成立还差一个英伟达
2025-03-18 17:46:54
24小时热文
更多
扫一扫体验小程序