.png)
2月18日，Kimi和DeepSeek发布新进展，分别推出MoBA和NSA，两者都是对注意力机制的改进。MoBA的主要研发者Andrew Lu在知乎分享了研发过程的三次挑战，称为“三入思过崖”。MoBA最初设计时旨在快速训练出支持128K长度的模型。经历了多次调整，最终在2024年初稳定下来，成为一种高效的稀疏注意力机制。MoBA的最新版本已应用于月之暗面的产品Kimi中，并在GitHub上开源。尽管初期在长文任务中表现不佳，但通过调整，MoBA最终成功上线服务用户。
原文链接
本文链接：https://kx.umi6.com/article/13982.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "13982")
相关推荐
.png)
换一换
Mamba核心作者新作:取代DeepSeek在用的注意力机制，专为推理打造
2025-06-01 13:19:53
DeepSeek-V3.2-Exp官宣发布，API价格下调超50%
2025-09-29 20:15:06
拆分Transformer注意力，韩国人要给大模型“踩油门”
2024-07-02 20:53:35
智谱GLM-5技术全公开！完全适配华为等国产芯片，美国网友酸了
2026-02-23 15:59:51
前谷歌 AI 研究员：ChatGPT 原本可以更早出现的
2024-11-18 10:21:49
DeepSeek新论文再次引发热议，它说了什么？
2025-02-19 16:53:40
撞车DeepSeek NSA Kimi杨植麟署名的新注意力架构MoBA发布
2025-02-19 15:57:22
DeepSeek新模型上线
2025-09-30 11:25:43
DeepSeek推出NSA 用于超快速的长上下文训练和推理
2025-02-18 17:33:00
DeepSeek新论文再引热议，梁文锋亲自提交预印本
2025-02-19 16:55:57
谷歌公布 Titans 系列 AI 模型架构：融合长短期记忆与注意力机制、突破 200 万上下文 Token
2025-01-20 20:22:44
梁文锋亲自挂名，DeepSeek 最新论文丢出注意力新机制，推理速度直线提升 11 倍
2025-02-24 14:32:24
揭秘注意力机制真正起源！10年前3项研究几乎同时独立提出，背后故事细节被Karpathy晒邮件公开了
2024-12-04 16:39:33
745 文章
958688 浏览
24小时热文
更多
-
2026-09-06 21:14:00 -
2026-09-06 20:12:34
-
2026-09-06 20:10:47
