标题:20K合成数据助大模型能力飞跃,实现自我迭代——上海AI Lab提出新范式
仅用20K合成数据,Qwen模型能力显著提升,且可实现自我迭代。上海AI Lab研究团队提出SFT数据合成引擎Condor,结合世界知识树和自我反思机制,生成高质量SFT数据。实验显示,模型性能随合成数据量增加而提升,至20K后增速放缓。
Condor分为Condor Void和Condor Refine两阶段。Condor Void利用模型生成知识树,以指导问题合成;Condor Refine则通过自我反思优化回复。研究团队使用Qwen2.5-72B-Instruct和Qwen2.5-7B进行实验,证明Condor合成数据训练的模型在对话能力和客观评测中均表现出色,优于基线方法。
此外,研究还探讨了合成数据量与模型性能的关系及自我迭代效果。结果显示,模型性能随数据量增加而提升,但增幅渐缓。Condor合成数据不仅提高了模型的通用对话能力,还在创造、问答和聊天等方面表现出显著优势。
原文链接
本文链接:https://kx.umi6.com/article/12062.html
转载请注明文章出处
相关推荐
换一换
前端程序员请注意!首个截图就能生成现代前端代码的AI来了 | 已开源
2025-02-26 12:28:43
鹅厂造10亿虚拟人格专搞数据合成:让7B模型数学成绩打平GPT4,还能给弱智吧出题
2024-07-03 03:16:13
大模型不停进步,“杀死”了旧时代的产品经理
2025-04-09 10:45:23
Qwen最新3.7 Max预览版空降!两代超大杯并行迭代,林俊旸走了但还在加速
2026-05-19 11:26:16
「期货大王」OpenAI,正在被全面超越?
2024-06-21 20:44:31
人类药丸?Anthropic为什么要搞AI不扩散条约
2026-06-07 13:33:45
不用千亿参数也能合成高质量数据!这个开源框架让小模型“组团逆袭”,7B性能直追72B
2025-06-17 17:26:00
全栈AI基础设施支撑,跑出全球首个开放使用视频生成DiT模型
2025-04-28 11:46:30
开源垂直领域高质量数据合成框架!专业QA自动生成,无需人工标注,来自上海AI Lab
2025-04-27 13:15:21
阿里吴泳铭:AGI只是起点 终极目标是超级人工智能
2025-09-24 10:36:41
我们用 Qwen 3.8-Max 做了一个 AI 大模型宇宙:效果竟然胜过 GPT5.6?
2026-09-01 16:57:36
互联网最古老的恐惧 被AI复活了
2026-09-06 15:01:29
拆解 Claude 5.1:38 小时不睡觉的背后,Anthropic 正在终结「模型论」
2026-09-03 17:33:12
708 文章
892057 浏览
24小时热文
更多
-
2026-09-07 10:44:22 -
2026-09-06 21:14:00 -
2026-09-06 20:12:34