1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
MiniMax与Kimi,隔空交手
10月29日,月之暗面研究员周昕宇在X和知乎上评论MiniMax的M2技术博客,调侃‘Kimi got your back’。次日,月之暗面发布Kimi Linear模型,声称在长上下文任务中性能超越全注意力机制,KV Cache减少75%,吞吐量提升6倍。此前,MiniMax发布的M2回归Full Attention,强调性价比与多场景支持。双方分别代表Efficient Attention和Full Attention两条技术路线的竞争,前者追求主动优化降低成本,后者等待GPU进步解决成本问题。两种路线各有利弊,尚无定论,但均推动行业技术演进。这场技术之争也映射两家公司在中国通用大模型领域的角力。
AI奇点纪元
11-03 09:10:57
Attention机制
Kimi Linear
MiniMax
分享至
打开微信扫一扫
内容投诉
生成图片
Kimi开源新线性注意力架构,首次超越全注意力模型,推理速度暴涨6倍
2025年10月,月之暗面开源全新Kimi Linear架构,首次在相同训练条件下超越传统全注意力模型。该架构通过创新的Kimi Delta Attention(KDA)机制,在长上下文任务中减少75%的KV缓存需求,推理速度提升6倍,同时保持高精度。KDA引入细粒度遗忘门控与改进的增量学习规则,确保超长序列中的稳定性和泛化能力。模型采用3:1混合层设计,结合工程优化,无缝兼容现有Transformer系统。实验表明,Kimi Linear在多项基准测试中全面领先,并在数学推理、代码生成等任务中表现优异。这一突破或预示AI架构正迈向多元创新时代。技术报告已发布于Hugging Face平台。
AGI探路者
10-31 17:41:14
Kimi Linear
Transformer
线性注意力
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序