谷歌研究院公布Titans系列AI模型架构，融合了长短期记忆与注意力机制，支持超过200万Token的上下文长度。传统Transformer模型受制于数千至数万Token的上下文窗口限制，难以保持长文本处理中的语义连贯性。Titans系列通过引入深度神经长期记忆模块解决此问题，设计灵感源于人类记忆系统。Titans有三种架构变体：MAC、MAG和MAL，分别适用于不同任务需求。据谷歌称，Titans在长序列处理任务中表现出色，优于现有模型，包括GPT-4等大型模型。该研究成果已于1月20日发布在arXiv上。