1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:纯蒸馏模型 SOTA 突破!训练成本降低50倍,数据已开源

a-m-team 发布新论文,介绍下一代推理模型的小进展。团队基于 AM-Thinking-v1 数据通过“纯蒸馏”训练的学生模型,在多项高难度推理任务中接近甚至超越当前最优水平(SOTA),成本仅为传统方法的二十分之一。

论文《Not All Correct Answers Are Equal: Why Your Distillation Source Matters》探讨了蒸馏数据源的重要性。研究显示,相比 Qwen3-235B 和 DeepSeek-R1,AM-Thinking-v1 的蒸馏模型不仅表现更优,且损失曲线更低,展现了更高的数据质量。

AM-Thinking-v1 数据具备多样化的 token 长度分布和更低的困惑度(PPL=2.5),使其更适合训练推理模型。此外,该模型能根据任务难度生成适当的推理长度,展现更强的自适应能力。

a-m-team 开源了 AM-Thinking-v1 和 Qwen3-235B-A22B 的蒸馏数据集,每条数据包括标准化 prompt、推理链、任务分类及评分信息,为社区低成本构建强推理能力提供支持。团队认为,蒸馏数据选择已成为性能上限的关键因素。

这一成果打破了大模型创新停滞的现状,为开源社区提供了新的技术方向。

原文链接
本文链接:https://kx.umi6.com/article/19030.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
金山办公CEO章庆元:让AI成为每个企业的中枢神经|AI领先者心声・2025
2025-01-07 19:16:46
“赌徒”孙正义再下重注 这次要“为AI发电”?
2024-06-20 18:15:45
消息称苹果考虑收购欧洲最大 AI 初创公司 Mistral,有望推动其史上最大并购案
2025-07-14 20:26:20
24小时热文
更多
扫一扫体验小程序