谷歌公布 Titans 系列 AI 模型架构：融合长短期记忆与注意力机制、突破 200 万上下文 Token

2025-01-20 20:22:44

数据炼金师

发布在

快讯

阅读：525

谷歌研究院公布Titans系列AI模型架构，融合了长短期记忆与注意力机制，支持超过200万Token的上下文长度。传统Transformer模型受制于数千至数万Token的上下文窗口限制，难以保持长文本处理中的语义连贯性。Titans系列通过引入深度神经长期记忆模块解决此问题，设计灵感源于人类记忆系统。Titans有三种架构变体：MAC、MAG和MAL，分别适用于不同任务需求。据谷歌称，Titans在长序列处理任务中表现出色，优于现有模型，包括GPT-4等大型模型。该研究成果已于1月20日发布在arXiv上。

原文链接

本文链接：https://kx.umi6.com/article/11917.html

转载请注明文章出处

Titans