大模型推理学习新范式！ExGRPO框架：从盲目刷题到聪明复盘

来自上海人工智能实验室、澳门大学、南京大学和香港中文大学的研究团队提出了一种全新的经验管理和学习框架ExGRPO。通过科学识别、存储、筛选和学习高价值经验，该框架显著提升了大模型的推理能力。

传统强化学习方法（如RLVR）存在“经验浪费”问题：模型生成的推理轨迹仅使用一次便被丢弃，导致计算资源浪费和训练不稳定。ExGRPO则通过“经验回放池”存储成功案例，并动态分类为简单、中等和困难问题，优先挑选中等难度问题和低熵解题路径进行复习，避免了重复无效学习。

实验表明，ExGRPO在多个基准测试中性能显著优于传统方法，尤其在复杂任务（如AIME数学竞赛题）上提升更为明显。此外，它还能稳定训练初始能力较弱的模型，并持续增强强模型的表现。

研究揭示了经验管理的重要性：高质量经验应聚焦于中等难度问题和逻辑清晰的解法，而低质量经验可能导致错误习惯的固化。ExGRPO通过精细筛选机制切断了这种“滚雪球效应”。

正如强化学习先驱David Silver和Richard Sutton所言，“经验将成为AI能力提升的主要媒介”。ExGRPO为大模型提供了系统性的学习框架，开启了高效、稳定训练的新时代。

论文：https://arxiv.org/pdf/2510.02245
代码：https://github.com/ElliottYan/LUFFY/tree/main/ExGRPO
模型：https://huggingface.co/collections/rzzhan/exgrpo-68d8e302efdfe325187d5c96