Kimi论文自曝推理架构，80%流量都靠它承担

2024-07-05 15:35:18

LunarCoder

发布在

快讯

阅读：392

国产大模型Kimi的最新论文揭示其推理架构Mooncake，这款分离式设计的系统可高效应对80%的高流量。Mooncake通过KV缓存、分离的Prefill和Decoding节点集群，以及RDMA通信，提升了525%的吞吐量和75%的请求处理能力。核心策略包括智能调度、热点迁移和基于预测的早期拒绝，有效降低延迟并适应复杂负载。论文详细介绍了Mooncake的内部机制及优化效果，展示在ArXiv和L-Eval数据集上的显著性能提升。随着大模型服务需求的增长，月之暗面团队将继续优化硬件友好的分布式策略。

原文链接

本文链接：https://kx.umi6.com/article/2733.html

转载请注明文章出处

Kimi