正文：2025年7月，Meta发布新注意力机制2-Simplicial Transformer，突破传统Transformer性能上限。该架构通过引入三元线性注意力机制，利用OpenAI开源的Triton框架优化计算，显著提升模型在数学、编程和推理任务中的表现。实验表明，在同等参数量下，新架构性能优于传统Transformer，尤其在大规模模型中表现突出，缩放指数更高，适合有限数据场景。研究人员使用Triton实现520TFLOPS运算性能，并结合滑动窗口机制降低计算成本。然而，其高计算复杂度和延迟仍需优化。Meta此番创新引发热议，同时也凸显OpenAI技术的重要性。论文已公开。

Mamba核心作者新作：专为推理优化的注意力机制 曾推动Transformer革新的Mamba作者之一Tri Dao，发布新研究——提出两种专为推理设计的注意力机制，大幅提升了解码速度和吞吐量，尤其在长上下文推理中表现优异。 这项由普林斯顿大学团队完成的研究包含两大创新： 其一，Grouped-Ti...

标题：AI如何模仿人类大脑的注意力机制？ 正文： 近年来，AI领域中最热门的话题无疑是deepseek（简称DS）。作为中国本土崛起的一匹黑马，DS迅速在全球范围内引发关注，甚至一度搅动美国股市，成为AI领域的重要事件。 DS的成功离不开技术积累。创始人梁文锋坦言，DS站在了巨人的肩膀上。这个巨人可...

标题：Anthropic AI 揭示大模型中的注意力回路 近日，Anthropic 发布了一种新的研究方法，用于揭示语言模型内部的底层工作机制。该方法通过构建归因图谱，解析模型如何处理特定输入。例如，在面对“Fact: Michael Jordan plays the sport of __”时...

DeepSeek-R1背后的多头潜在注意力机制（MLA）现已能轻松迁移到其他模型，仅需原始数据的0.3%~0.6%。该研究由复旦大学、华东师范大学、上海AI Lab等联合提出，复旦教授邱锡鹏也在作者名单之列。 MHA2MLA方法通过两部分实现高效微调：partial-RoPE和低秩近似。Partia...

2月18日，梁文锋带领DeepSeek团队发布新研究，论文发布仅3小时即获30多万浏览量。他们提出一种名为NSA的新注意力机制，用于超快速的长上下文训练与推理。NSA包括动态分层稀疏策略、粗粒度的token压缩及细粒度的token选择，使推理速度提升11.6倍，同时降低预训练成本。 梁文锋亲自参与并...

2月18日，Kimi和DeepSeek发布新进展，分别推出MoBA和NSA，两者都是对注意力机制的改进。MoBA的主要研发者Andrew Lu在知乎分享了研发过程的三次挑战，称为“三入思过崖”。MoBA最初设计时旨在快速训练出支持128K长度的模型。经历了多次调整，最终在2024年初稳定下来，成为一种高效的稀疏注意力机制。MoBA的最新版本已应用于月之暗面的产品Kimi中，并在GitHub上开源。尽管初期在长文任务中表现不佳，但通过调整，MoBA最终成功上线服务用户。

DeepSeek的新注意力机制论文再次引发热议。论文提出了一种名为NSA（Native Sparse Attention）的可原生训练的稀疏注意力机制，旨在解决大模型上下文建模中计算成本高的问题。 实验显示，NSA在64k上下文解码时，前向传播速度提升9倍，反向传播速度提升6倍，解码速度提升11.6...

DeepSeek的最新论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》引起了广泛关注。该论文介绍了一种名为NSA的新型稀疏注意力机制，适用于超快长上下文训练和推理，且具有硬件对齐...

2月18日，DeepSeek发布一篇由CEO梁文锋参与的新论文，提出了改进版注意力机制NSA。同日，月之暗面也发布了一篇相似主题的论文，署名作者包括其CEO杨植麟。该论文介绍了一种名为MoBA的注意力机制，这是一种将混合专家原理应用于注意力机制的创新方法，遵循‘更少结构’原则，使模型能自主决定关注的位置。