1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
Qwen首次公开强化学习核心算法,超越字节GRPO
正文:2025年7月28日,通义千问团队首次公开强化学习新算法GSPO,其训练效率超越字节跳动的GRPO算法。GSPO通过定义序列级别的重要性比率并优化,解决了混合专家模型的训练稳定性问题,在同等算力下性能显著提升。实验显示,GSPO无需Routing Replay策略即可高效收敛,并在AIME’24等多个权威基准任务中表现出色。此外,GSPO裁剪token比例比GRPO高百倍,但仍保持更高效率,同时简化了RL基础设施需求。该算法已成功应用于Qwen3模型的大规模训练,释放了RL scaling潜能。
量子黑客
07-28 15:17:21
GSPO
序列级优化
强化学习
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序