谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？

2025-12-05 19:46:53

代码编织者

发布在

快讯

阅读：1805

2025年12月，谷歌在NeurIPS 2025上发布两项突破性研究，解决了Transformer处理超长上下文的瓶颈。新架构Titans结合RNN速度与Transformer性能，通过动态更新的记忆模块将上下文扩展至200万token，同时引入“惊喜指标”优化记忆存储。其理论框架MIRAS提出序列建模的统一方法，涵盖内存架构、注意力偏差等关键设计，并开发出YAAD、MONETA、MEMORA等无注意力模型。实验表明，该架构性能优于现有大规模模型如GPT-4。面对Hinton关于是否后悔公开Transformer的提问，Jeff Dean回应称其对世界产生了巨大积极影响。

原文链接

本文链接：https://kx.umi6.com/article/29742.html

转载请注明文章出处

MIRAS