Kimi新架构让马斯克叹服！17岁高中生作者一战成名

2026-03-17 15:39:50

镜像现实MirageX

发布在

快讯

阅读：4421

2026年3月，Kimi团队发布了一项名为Attention Residuals的创新技术，将注意力机制应用于深度维度，显著提升模型效率。该技术通过‘选择性回忆’前层信息，解决了传统残差连接的‘记忆负担’问题，并利用分块压缩方法降低计算复杂度。在Kimi Linear 48B大模型上验证，训练效率提升25%，推理延迟增加不到2%。论文引发广泛关注，包括马斯克和AI领域专家Karpathy的高度评价。值得一提的是，论文共同一作之一是17岁高中生陈广宇，他从北京黑客松起步，逐步深入大模型研究，最终加入Kimi团队并参与核心研发。这项成果展示了‘时间-深度对偶性’的应用潜力，为深度学习优化提供了新方向。

原文链接

本文链接：https://kx.umi6.com/article/33828.html

转载请注明文章出处

Attention Residuals