2月18日，DeepSeek宣布推出NSA（Native Sparse Attention），一种硬件对 alignments 且原生可训练的稀疏注意力机制，旨在加速推理并降低成本，同时保持性能。NSA的核心组件包括动态分层稀疏策略、粗粒度token压缩及细粒度token选择。DeepSeek表示，该机制在通用基准、长上下文任务和基于指令的推理中表现出色，不逊于全注意力模型。更多信息参见：