标题:不用千亿参数也能合成高质量数据!这个开源框架让小模型“组团逆袭”,7B性能直追72B
无需蒸馏任何大规模语言模型,小模型也能自给自足、联合提升?上海人工智能实验室与中国人民大学联合提出的GRA框架(Generator–Reviewer–Adjudicator)正是这样一种新范式。该方法以“多人协作”、“角色分工”为核心理念,探索多开源小模型如何通过协同机制生成高质量训练数据。
实验结果显示,在涵盖数学、代码、逻辑推理、通识问答等10个主流数据集上,GRA生成的数据质量与单个大型语言模型(如Qwen-2.5-72B-Instruct)输出相当或更高,并在多数任务中取得显著领先。
GRA框架模拟学术顶会审稿流程,小模型分工合作确保数据质量。具体分为三步:Generator生成新样本,Reviewer严格评审,Adjudicator仲裁分歧。此外,后处理模块进一步提升样本质量。
实验验证显示,GRA生成的数据在多项任务中表现优异,甚至优于大模型蒸馏数据,证明了小模型协同机制的成本效益和扩展潜力。GRA框架已在GitHub开源,可广泛应用于高效数据合成场景。
原文链接
本文链接:https://kx.umi6.com/article/20324.html
转载请注明文章出处
相关推荐
换一换
Hugging Face 研究“AI 降本增效”:给予更长运算时间让低成本小模型输出比拟大模型准确结果
2024-12-29 16:56:31
AI 的下一个战场:小模型崛起
2025-09-05 21:26:34
前端程序员请注意!首个截图就能生成现代前端代码的AI来了 | 已开源
2025-02-26 12:28:43
开源垂直领域高质量数据合成框架!专业QA自动生成,无需人工标注,来自上海AI Lab
2025-04-27 13:15:21
鹅厂造10亿虚拟人格专搞数据合成:让7B模型数学成绩打平GPT4,还能给弱智吧出题
2024-07-03 03:16:13
英伟达 4B 小模型击败 GPT-5 Pro!单任务成本仅后者 1/36
2025-12-08 16:36:14
大模型时代结束?大佬齐预测:AI模型或需先缩小规模,才能再次扩大规模
2024-07-22 21:56:10
AI明星企业血战小模型,成本暴降还更省电费,加速AI普及
2024-07-22 22:17:53
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
2024-07-21 15:48:06
OpenAI开战小模型,GPT-4o mini成本再降60%
2024-07-19 20:41:17
英伟达新研究:小模型才是智能体的未来
2025-08-19 08:54:39
OpenAI从微软挖来一员AI大将 或为公司开辟一条“小模型”赛道
2024-10-15 19:05:12
苹果看上的公司,靠量子「邪修」给模型瘦身
2025-09-02 18:36:33
579 文章
366794 浏览
24小时热文
更多
-
2025-12-08 23:53:52 -
2025-12-08 22:52:38 -
2025-12-08 22:51:57