最近，Kimi研究员苏剑林复盘了Kimi K3模型的核心技术。K3拥有2.8万亿参数，其核心秘诀在于“扩容不增本”。

首先是“专家分工”。K3内置896个专家，每次仅激活16个。为降低通信成本，K3采用LatentMoE技术，将信息压缩后再发给专家。这让专家分工更细，并保留2个共享专家处理基础任务。为防止数值异常和专家“忙闲不均”，K3引入特定算法稳定数值并动态平衡负载。

其次是“记忆管理”。K3交替使用KDA和MLA两种注意力机制。KDA像“工作台”，低成本持续更新当前状态；MLA像“档案库”，定期回查完整历史。这种分工让K3高效处理超长文本，甚至省去了传统的位置编码，并精准控制检索结果。

此外在工程落地时，K3保留部分原有结构以复用成熟代码，降低部署风险，并优化训练算法减少内部干扰。

总之，K3证明：在万亿参数时代，AI进化不再是单纯“堆料”，而是建立更聪明的参数、记忆与计算调度机制，让好钢用在刀刃上。