标题:纯蒸馏模型 SOTA 突破!训练成本降低50倍,数据已开源
a-m-team 发布新论文,介绍下一代推理模型的小进展。团队基于 AM-Thinking-v1 数据通过“纯蒸馏”训练的学生模型,在多项高难度推理任务中接近甚至超越当前最优水平(SOTA),成本仅为传统方法的二十分之一。
论文《Not All Correct Answers Are Equal: Why Your Distillation Source Matters》探讨了蒸馏数据源的重要性。研究显示,相比 Qwen3-235B 和 DeepSeek-R1,AM-Thinking-v1 的蒸馏模型不仅表现更优,且损失曲线更低,展现了更高的数据质量。
AM-Thinking-v1 数据具备多样化的 token 长度分布和更低的困惑度(PPL=2.5),使其更适合训练推理模型。此外,该模型能根据任务难度生成适当的推理长度,展现更强的自适应能力。
a-m-team 开源了 AM-Thinking-v1 和 Qwen3-235B-A22B 的蒸馏数据集,每条数据包括标准化 prompt、推理链、任务分类及评分信息,为社区低成本构建强推理能力提供支持。团队认为,蒸馏数据选择已成为性能上限的关键因素。
这一成果打破了大模型创新停滞的现状,为开源社区提供了新的技术方向。
原文链接
本文链接:https://kx.umi6.com/article/19030.html
转载请注明文章出处
相关推荐
换一换
按需搭配一键叠穿,效果拿下新SOTA!中山大学&字节智创数字人团队提出虚拟试穿新框架
2024-07-02 14:50:22
实测拿215项SOTA的Qwen3.5-Omni:摄像头一开,AI给我现场讲论文、撸代码
2026-03-31 16:55:07
Gitee AI 联合沐曦首发全套 DeepSeek R1 千问蒸馏模型,全免费体验
2025-02-03 17:13:53
DeepSeek V4 Lite悄然更新:2000亿小参数性能逼近美国顶流
2026-03-03 11:57:04
多亏Transformer,Mamba更强了!仅用1%计算量达新SOTA
2024-08-22 17:19:58
阶跃星辰发布端到端语音大模型 Step-Audio 2 mini,多个基准测试取得 SOTA 成绩
2025-09-01 15:21:09
工业大模型的“难言之隐”,这些企业有方法
2024-11-14 15:16:55
开源Qwen一周连刷三冠,暴击闭源模型!基础模型推理编程均SOTA
2025-07-26 13:39:05
杨植麟被梁文锋叫醒了!Kimi新模型发布即开源,1T参数全线SOTA
2025-07-12 13:50:53
美团发布高效推理模型 LongCat-Flash-Thinking,达到 SOTA 水平
2025-09-22 15:58:35
腾讯混元 OCR 模型宣布开源:参数仅 1B,多项核心能力 SOTA
2025-11-25 14:56:08
分割/识别/解说一个模型搞定!3B参数刷新视觉理解SOTA,图像视频全适配
2025-06-14 20:40:35
那个用半成品刷爆SOTA的Qwen3超大杯推理版,现在正式上线
2026-01-27 00:41:43
784 文章
1039062 浏览
24小时热文
更多
-
2026-10-22 11:40:49 -
2026-10-22 10:39:20 -
2026-10-22 10:37:52