Transformer危！谷歌MoR架构发布：内存减半推理速度还翻倍

2025-07-17 18:26:53

代码编织者

发布在

快讯

阅读：394

2025年7月，谷歌发布全新底层架构Mixture-of-Recursions（MoR），被称作“Transformer Killer”。该架构通过统一参数共享、自适应递归深度和高效KV缓存策略，实现内存减半、推理速度翻倍，并首次在单一框架内动态分配计算资源。相比Transformer，MoR在相同FLOPs预算下减少50%参数量，提升少样本准确率至43.1%，训练时间缩短19%，峰值内存降低25%。谷歌DeepMind联合KAIST AI与Mila团队完成这一创新，或将颠覆AI计算范式。未来效果尚需时间验证。

原文链接

本文链接：https://kx.umi6.com/article/21947.html

转载请注明文章出处

MoR架构