趋境科技推出大模型知识推理一体机，革新“全系统推理架构”，旨在帮助企业高效利用推理资源。随着大模型应用的普及，推理端人工智能服务器预计占比将达72.6%，而开源大模型的进展进一步推动了这一趋势。然而，当前的挑战在于，尽管模型效果显著提升，但在实际部署中面临高昂成本和低效问题，形成“不可能三角”。 趋...

国产大模型Kimi的最新论文揭示其推理架构Mooncake，这款分离式设计的系统可高效应对80%的高流量。Mooncake通过KV缓存、分离的Prefill和Decoding节点集群，以及RDMA通信，提升了525%的吞吐量和75%的请求处理能力。核心策略包括智能调度、热点迁移和基于预测的早期拒绝，有效降低延迟并适应复杂负载。论文详细介绍了Mooncake的内部机制及优化效果，展示在ArXiv和L-Eval数据集上的显著性能提升。随着大模型服务需求的增长，月之暗面团队将继续优化硬件友好的分布式策略。