
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
10月14日,小米与北京大学联合发表一篇AI论文,通讯作者之一是被曝获雷军千万年薪挖角的DeepSeek“天才少女”罗福莉。论文提出一种名为Rollout Routing Replay(R3)的新方法,用于提升MoE模型在强化学习训练中的稳定性和性能。研究显示,R3显著缩小了训练和推理间的差异,KL散度降低一个量级,且避免了训练崩溃问题。罗福莉曾参与DeepSeek-V2研发,但论文未标注其隶属于小米团队。这一成果为解决MoE模型训练不稳定性提供了新思路,可能对多轮对话和Agent任务场景有重要应用价值。
原文链接
加载更多

暂无内容