Kimi开源新突破：20秒更新万亿参数的中间件问世

Kimi开源再次带来惊喜！最新发布的中间件“checkpoint-engine（检查点引擎）”，让Kimi K2模型在数千个GPU上仅需约20秒即可完成1万亿参数的更新，进入“秒更时代”。

该中间件专为强化学习设计，优化了大语言模型推理中的权重更新流程。Kimi K2采用混合共置架构，将训练与推理引擎部署在同一组节点上，通过动态资源调配实现高效协作。然而，随着模型规模扩展至万亿参数级别，传统方法在参数同步和故障恢复上的延迟问题愈发突出。

为解决这一难题，研究团队开发了分布式检查点引擎。它通过本地参数副本广播和流水线技术显著降低内存占用，并实现高效参数更新。具体而言，更新过程分为三阶段：H2D传输、广播和重载。尽管理想流水线尚未完全实现，但当前的两阶段方案已大幅简化系统设计，同时保持高性能。

此外，该引擎还支持独立副本重启，避免了推理引擎间的同步屏障，提升了系统的容错能力。通过集体读取检查点和选择性磁盘IO操作，进一步减少了启动时间和昂贵的磁盘开销。

这一创新不仅显著提升了Kimi K2的效率，也为大规模AI模型的训练和推理提供了重要参考。

参考链接：
[1] https://x.com/Kimi_Moonshot/status/1965785427530629243
[2] https://github.com/MoonshotAI/checkpoint-engine
[3] https://arxiv.org/abs/2507.20534