国产大模型Kimi的最新论文揭示其推理架构Mooncake，这款分离式设计的系统可高效应对80%的高流量。Mooncake通过KV缓存、分离的Prefill和Decoding节点集群，以及RDMA通信，提升了525%的吞吐量和75%的请求处理能力。核心策略包括智能调度、热点迁移和基于预测的早期拒绝，有效降低延迟并适应复杂负载。论文详细介绍了Mooncake的内部机制及优化效果，展示在ArXiv和L-Eval数据集上的显著性能提升。随着大模型服务需求的增长，月之暗面团队将继续优化硬件友好的分布式策略。