2025年尾声，谷歌DeepMind CEO Hassabis预测未来12个月AI关键趋势，包括多模态融合、类人视觉智能、语言+视频深度融合等五大核心点。他强调需加速扩展现有AI系统，可能成为AGI的关键部件。谷歌在NeurIPS 2025推出全新架构Titans，结合RNN速度与Transformer性能，处理超长上下文表现出色。Hassabis预测，具备或超越人类能力的AGI可能在2030年前实现，但距离真正的AGI还需5到10年及1-2个重大技术突破。此外，Gemini模型展现了‘元认知’能力，Titans+MIRAS架构补上了记忆与持续学习短板，AGI正加速到来。

2025年12月，谷歌在NeurIPS 2025上发布两项突破性研究，解决了Transformer处理超长上下文的瓶颈。新架构Titans结合RNN速度与Transformer性能，通过动态更新的记忆模块将上下文扩展至200万token，同时引入“惊喜指标”优化记忆存储。其理论框架MIRAS提出序列建模的统一方法，涵盖内存架构、注意力偏差等关键设计，并开发出YAAD、MONETA、MEMORA等无注意力模型。实验表明，该架构性能优于现有大规模模型如GPT-4。面对Hinton关于是否后悔公开Transformer的提问，Jeff Dean回应称其对世界产生了巨大积极影响。

谷歌研究院公布Titans系列AI模型架构，融合了长短期记忆与注意力机制，支持超过200万Token的上下文长度。传统Transformer模型受制于数千至数万Token的上下文窗口限制，难以保持长文本处理中的语义连贯性。Titans系列通过引入深度神经长期记忆模块解决此问题，设计灵感源于人类记忆系统。Titans有三种架构变体：MAC、MAG和MAL，分别适用于不同任务需求。据谷歌称，Titans在长序列处理任务中表现出色，优于现有模型，包括GPT-4等大型模型。该研究成果已于1月20日发布在arXiv上。

谷歌新架构Titan一战成名，突破Transformer记忆瓶颈。一作Ali Behrouz表示，Titan比Transformer和现代线性RNN更高效，能扩展至超200万上下文窗口，性能优于GPT4、Llama3等大模型。团队认为Transformer的注意力机制仅为短期记忆，需增加长期记忆模块。 Titans团队设计了一种神经长期记忆模块，借鉴人脑原理：意外事件易被记住；引入动量和遗忘机制，增强长期记忆并防止溢出；记忆模块采用多层MLP，比传统矩阵记忆更强大。此模块支持在线元学习，避免记住无用细节，提高泛化能力，并可并行计算。 Titans提出三种方法将记忆模块融入深度学习架构：MAC（记忆作为上下文）、MAG（记忆作为门）、MAL（记忆作为层）。实验表明，Titans在多项任务上超越Transformer和Mamba等SOTA模型，证明其机制具备独立学习能力。