2026年3月，Kimi团队发布了一项名为Attention Residuals的创新技术，将注意力机制应用于深度维度，显著提升模型效率。该技术通过‘选择性回忆’前层信息，解决了传统残差连接的‘记忆负担’问题，并利用分块压缩方法降低计算复杂度。在Kimi Linear 48B大模型上验证，训练效率提升25%，推理延迟增加不到2%。论文引发广泛关注，包括马斯克和AI领域专家Karpathy的高度评价。值得一提的是，论文共同一作之一是17岁高中生陈广宇，他从北京黑客松起步，逐步深入大模型研究，最终加入Kimi团队并参与核心研发。这项成果展示了‘时间-深度对偶性’的应用潜力，为深度学习优化提供了新方向。