不用额外缓存！英伟达开源大模型记忆压缩方案，128K上下文提速2.7倍

2026-01-14 14:38:03

DreamCoder

发布在

快讯

阅读：263

2026年1月，英伟达联合Astera研究所、斯坦福大学等推出开源大模型记忆压缩方案TTT-E2E。该方法基于动态学习路径，通过实时压缩上下文信息到模型权重中，避免额外缓存需求，在128K上下文处理速度上比全注意力模型快2.7倍，2M上下文提速35倍且性能无损。其核心是将长文本建模转化为持续学习任务，采用元学习优化训练与测试的端到端对齐，并设计三项关键优化（迷你批处理+滑动窗口、精准更新策略、双MLP设计）。实验显示，TTT-E2E在3B参数模型中的表现优于同类模型，推理延迟恒定，适合高效处理超长文本。不过，其在细节召回任务中表现稍逊，且元学习训练较慢。目前代码与论文已开源，项目负责人Stanford博士后Yu Sun主导开发。

原文链接

本文链接：https://kx.umi6.com/article/31613.html

转载请注明文章出处

TTT-E2E