标题:不用千亿参数也能合成高质量数据!这个开源框架让小模型“组团逆袭”,7B性能直追72B
无需蒸馏任何大规模语言模型,小模型也能自给自足、联合提升?上海人工智能实验室与中国人民大学联合提出的GRA框架(Generator–Reviewer–Adjudicator)正是这样一种新范式。该方法以“多人协作”、“角色分工”为核心理念,探索多开源小模型如何通过协同机制生成高质量训练数据。
实验结果显示,在涵盖数学、代码、逻辑推理、通识问答等10个主流数据集上,GRA生成的数据质量与单个大型语言模型(如Qwen-2.5-72B-Instruct)输出相当或更高,并在多数任务中取得显著领先。
GRA框架模拟学术顶会审稿流程,小模型分工合作确保数据质量。具体分为三步:Generator生成新样本,Reviewer严格评审,Adjudicator仲裁分歧。此外,后处理模块进一步提升样本质量。
实验验证显示,GRA生成的数据在多项任务中表现优异,甚至优于大模型蒸馏数据,证明了小模型协同机制的成本效益和扩展潜力。GRA框架已在GitHub开源,可广泛应用于高效数据合成场景。
原文链接
本文链接:https://kx.umi6.com/article/20324.html
转载请注明文章出处
相关推荐
.png)
换一换
小成本AI产品,也有春天
2024-06-26 19:03:41
iPhone 可跑 2B 小钢炮:谷歌 Gemma 2 小模型来袭,跑分超 GPT-3.5
2024-08-01 14:46:48
苹果WWDC,AI小模型的批发时代
2024-06-17 11:24:38
418 文章
63780 浏览
24小时热文
更多

-
2025-07-20 14:04:00
-
2025-07-20 14:03:49
-
2025-07-20 13:03:48