2025年12月，谷歌在NeurIPS 2025上发布两项突破性研究，解决了Transformer处理超长上下文的瓶颈。新架构Titans结合RNN速度与Transformer性能，通过动态更新的记忆模块将上下文扩展至200万token，同时引入“惊喜指标”优化记忆存储。其理论框架MIRAS提出序列建模的统一方法，涵盖内存架构、注意力偏差等关键设计，并开发出YAAD、MONETA、MEMORA等无注意力模型。实验表明，该架构性能优于现有大规模模型如GPT-4。面对Hinton关于是否后悔公开Transformer的提问，Jeff Dean回应称其对世界产生了巨大积极影响。