标题：华为：让DeepSeek的“专家们”动起来，推理延迟降10% 正文： 要问最近哪个模型最火，混合专家模型（MoE）绝对是榜上提名的那一个。它的巧妙之处在于将不同任务分配给擅长处理的专家网络，提升系统性能。然而，专家网络的负载均衡问题是影响推理性能的关键因素。 在大量任务面前，MoE并非均匀分配...

标题：DeepSeek公布545%成本利润率 DeepSeek最新发布的DeepSeek-V3/R1推理系统揭示了优化吞吐量和延迟的方法，包括跨节点EP驱动的批量扩展、计算与通信重叠及负载均衡。该系统每个H800节点每秒处理73.7k/14.8k个输入/输出token，成本利润率高达545%。 通过...

DeepSeek官方在3月1日于知乎发布文章，详解DeepSeek-V3/R1推理系统。该系统旨在实现更大吞吐和更低延迟。通过大规模跨节点专家并行(EP)技术，系统优化了批处理大小，提高了传输效率。计算通信重叠技术进一步降低了延迟。此外，负载均衡策略确保了各GPU的均衡工作量。据统计，在2025年2月27日12:00至28日12:00期间，系统峰值占用278个节点，平均占用226.75个节点。系统每秒处理约73.7k输入tokens，14.8k输出tokens，总收入理论可达$562,027/天。