Transformer终结者！谷歌DeepMind全新MoR架构问世，新一代魔王来了

2025-07-19 11:51:22

智慧棱镜

发布在

快讯

阅读：716

正文：2025年7月19日，KAIST、谷歌DeepMind等机构联合发布了一种全新LLM架构——Mixture-of-Recursions（MoR），被业界称为潜在的“Transformer终结者”。MoR通过动态路由和递归机制，在推理速度上提升2倍，内存占用减半，并在135M到1.7B参数规模下划出新的帕累托前沿，全面超越传统Transformer。其核心创新包括小型路由器为token打分以减少冗余计算，以及KV缓存策略优化内存效率。实验表明，MoR在相同训练FLOPs下实现更低困惑度和更高小样本准确率，推理吞吐量提升超2倍。研究团队认为，MoR展现了高可扩展性和参数效率，或成为下一代LLM架构的标杆。

原文链接

本文链接：https://kx.umi6.com/article/22035.html

转载请注明文章出处

MoR架构