综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
Kimi的新论文再次与DeepSeek的研究“撞车”,两者均探讨了长文注意力机制。这项名为MoBA的新型注意力机制,能将处理1M长文本的速度提升6.5倍,并已在Kimi平台上验证。
MoBA的核心在于:
- 将长文本划分为块,使每个查询token自动关注最相关的KV块。
- 引入参数无关的top-k...
原文链接
加载更多
暂无内容