1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:草稿链替代思维链,推理token减少80%,显著降低成本和延迟

推理token减少80%-90%,准确率变化不大,某些任务甚至提升。Zoom团队提出“草稿链”,一种思维链替代方案,显著降低延迟和算力成本。草稿链通过生成简洁、信息密集的token简化推理过程,灵感源自人类解题时的简略思考方式。该方法易于实现,无需修改模型或微调,只需更新提示词示例,并已开源。草稿链保留了可解释性,适用于闭源模型。第三方分析显示,对于每月处理100万推理请求的企业,成本可从3800美元降至760美元。

实验验证了草稿链的有效性。在GSM8k数据集上,GPT-4o和Claude 3.5 Sonnet的准确率分别提升至91%。草稿链将token使用量从200个降至40个,减少约80%。延迟方面,GPT-4o和Claude 3.5 Sonnet的平均延迟分别降低76.2%和48.4%。其他任务如日期理解和运动理解也取得相似成果,Claude 3.5 Sonnet的准确率有所提高。符号推理任务中,草稿链保持100%准确率的同时大幅减少token和延迟。

然而,草稿链在零样本设置下的有效性有限,且在小模型上的性能差距更大。这可能是因为训练数据中缺乏草稿链风格的推理模式。

原文链接
本文链接:https://kx.umi6.com/article/15219.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
大模型太“烧钱”,OpenAI据称今年将亏损50亿美元,算力成本或高达70亿美元,占总运营成本八成以上
2024-07-26 16:14:45
AI将取代40%白领类职业,跨越两条“生死线”
2025-01-14 20:17:15
从1纳秒到2天:你的系统延迟“合理”吗?
2024-07-13 16:11:10
24小时热文
更多
扫一扫体验小程序