谷歌新架构Titan挑战Transformer，展示出更高效的性能。据一作Ali Behrouz介绍，Titan架构在超过200万上下文窗口中表现出色，优于GPT4、Llama3等模型。 团队认为Transformer的注意力机制仅限于短期记忆，因此引入了新的长期记忆模块。此模块模仿人脑记忆机制，只记住重要的信息，并通过动量和遗忘机制优化记忆管理。此外，该模块可并行计算，增强了泛化能力。 Titan提出了三种集成长期记忆模块的方法：MAC、MAG和MAL。实验显示，在语言建模、常识推理、时间序列预测等任务中，Titan超越了现有模型。单独使用长期记忆模块，Titan也在多个任务中击败了基线模型。