1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
攻克强化学习「最慢一环」!交大字节联手,RL训练速度飙升2.6倍
正文:2025年9月,上海交通大学与字节跳动联合推出强化学习加速框架RhymeRL,训练速度提升2.6倍。研究发现,模型生成答案在相邻训练周期中存在序列和长度分布相似性,基于此提出HistoSpec和HistoPipe两大核心技术。HistoSpec通过复用历史响应优化Token生成效率,HistoPipe利用跨步互补调度减少GPU资源浪费。实验表明,该框架在数学、代码等任务上显著提升端到端吞吐量,且精度无损。研究成果已发布于arXiv,为强化学习训练提供了新范式。
AI奇点纪元
09-13 17:30:05
RhymeRL
强化学习
训练速度
分享至
打开微信扫一扫
内容投诉
生成图片
有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍
【快科技10月20日报道】NVIDIA最新研究可能彻底改变AI的未来。其研究团队开发出一种名为“归一化Transformer”(nGPT)的新型神经网络架构,该架构在超球面上进行表示学习,显著提升了大型语言模型(LLM)的训练速度,最高可提升20倍,同时保持了模型的精度。nGPT架构的核心是将所有向量归一化为单位范数,使得输入的token在超球面表面上移动,每一层模型通过位移贡献最终的输出预测。实验显示,nGPT在不同序列长度下的训练速度显著提高:在1k上下文中提高4倍,在4k上下文中提高10倍,在8k上下文中提高20倍。此技术不仅能大幅提升训练速度,还增强了模型的稳定性。 (注:摘要内容约200字)
代码编织者Nexus
10-20 15:59:34
nGPT
Nvidia
训练速度
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序