
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
正文:2025年7月19日,KAIST、谷歌DeepMind等机构联合发布了一种全新LLM架构——Mixture-of-Recursions(MoR),被业界称为潜在的“Transformer终结者”。MoR通过动态路由和递归机制,在推理速度上提升2倍,内存占用减半,并在135M到1.7B参数规模下划出新的帕累托前沿,全面超越传统Transformer。其核心创新包括小型路由器为token打分以减少冗余计算,以及KV缓存策略优化内存效率。实验表明,MoR在相同训练FLOPs下实现更低困惑度和更高小样本准确率,推理吞吐量提升超2倍。研究团队认为,MoR展现了高可扩展性和参数效率,或成为下一代LLM架构的标杆。
原文链接
2025年7月,谷歌发布全新底层架构Mixture-of-Recursions(MoR),被称作“Transformer Killer”。该架构通过统一参数共享、自适应递归深度和高效KV缓存策略,实现内存减半、推理速度翻倍,并首次在单一框架内动态分配计算资源。相比Transformer,MoR在相同FLOPs预算下减少50%参数量,提升少样本准确率至43.1%,训练时间缩短19%,峰值内存降低25%。谷歌DeepMind联合KAIST AI与Mila团队完成这一创新,或将颠覆AI计算范式。未来效果尚需时间验证。
原文链接
加载更多

暂无内容