1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

正文:2025年7月19日,KAIST、谷歌DeepMind等机构联合发布了一种全新LLM架构——Mixture-of-Recursions(MoR),被业界称为潜在的“Transformer终结者”。MoR通过动态路由和递归机制,在推理速度上提升2倍,内存占用减半,并在135M到1.7B参数规模下划出新的帕累托前沿,全面超越传统Transformer。其核心创新包括小型路由器为token打分以减少冗余计算,以及KV缓存策略优化内存效率。实验表明,MoR在相同训练FLOPs下实现更低困惑度和更高小样本准确率,推理吞吐量提升超2倍。研究团队认为,MoR展现了高可扩展性和参数效率,或成为下一代LLM架构的标杆。

原文链接
本文链接:https://kx.umi6.com/article/22035.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
全面超越Transformer!清华蚂蚁纯MLP架构,长短程时序预测大提升
2024-06-12 13:13:44
谷歌新架构一战成名,打破Transformer记忆瓶颈,姚班校友钟沛林新作
2025-01-14 15:12:54
谷歌DeepMind推出第二代大规模基础世界模型Genie 2 可一键生成3D互动世界
2024-12-05 11:00:12
24小时热文
更多
扫一扫体验小程序