谷歌新架构Titan一战成名，突破Transformer记忆瓶颈。一作Ali Behrouz表示，Titan比Transformer和现代线性RNN更高效，能扩展至超200万上下文窗口，性能优于GPT4、Llama3等大模型。团队认为Transformer的注意力机制仅为短期记忆，需增加长期记忆模块。

Titans团队设计了一种神经长期记忆模块，借鉴人脑原理：意外事件易被记住；引入动量和遗忘机制，增强长期记忆并防止溢出；记忆模块采用多层MLP，比传统矩阵记忆更强大。此模块支持在线元学习，避免记住无用细节，提高泛化能力，并可并行计算。

Titans提出三种方法将记忆模块融入深度学习架构：MAC（记忆作为上下文）、MAG（记忆作为门）、MAL（记忆作为层）。实验表明，Titans在多项任务上超越Transformer和Mamba等SOTA模型，证明其机制具备独立学习能力。