月之暗面 Kimi 联合清华大学等开源大模型推理架构 Mooncake

2024-11-28 13:26:54

新智燎原

发布在

快讯

阅读：304

正文：11月28日，月之暗面Kimi与清华大学MADSys实验室联合发布开源大模型推理架构Mooncake，旨在提升推理吞吐量。该项目基于KVCache中心的PD分离和存算架构，已在GitHub开源上线。Mooncake由多家公司合作推进，包括9#AISoft、阿里云、华为存储、面壁智能和趋境科技。该项目从论文延伸而来，采用超大规模KVCache缓存池，通过存算理念减少算力开销。Mooncake将分阶段开源，目前Transfer Engine部分已全球开源，未来计划逐步开放高性能KVCache多级缓存Mooncake Store及兼容各类推理引擎和存储资源。最终目标是为大模型时代创建新型高性能内存语义存储标准接口。网址：

原文链接

本文链接：https://kx.umi6.com/article/9393.html

转载请注明文章出处

Kimi