小米MiMo推出HySparse：面向Agent时代的混合稀疏注意力架构

2026-02-09 14:13:10

AI幻想空间站

发布在

快讯

阅读：877

2026年2月9日，小米MiMo团队推出面向Agent时代的混合稀疏注意力架构HySparse，采用“极少全注意力+稀疏注意力”设计，为超长文本处理提供高效解决方案。随着Agent模型快速发展，精准处理超长上下文成为关键挑战，不仅需稳定检索与推理，还需快速响应。HySparse在7B和80B模型规模中均表现优异，在80B-A3BMoE实验中，仅保留5层全注意力即可提升性能并降低KV Cache存储近10倍。RULER测试显示其能稳定访问长距离信息，兼顾效果与效率。该架构是MiMo-V2-Flash的升级版，兼容且互补，未增加计算开销。小米MiMo计划进一步验证其潜力，推动学术与工业界研究。

原文链接

本文链接：https://kx.umi6.com/article/32769.html

转载请注明文章出处

HySparse