标题：DeepSeek公布545%成本利润率

DeepSeek最新发布的DeepSeek-V3/R1推理系统揭示了优化吞吐量和延迟的方法，包括跨节点EP驱动的批量扩展、计算与通信重叠及负载均衡。该系统每个H800节点每秒处理73.7k/14.8k个输入/输出token，成本利润率高达545%。

通过大规模跨节点专家并行（EP），DeepSeek提高了吞吐量并降低了延迟。EP使批处理大小增加，减少了延迟，但也引入了跨节点传输和负载均衡的问题。系统采用双batch重叠技术来掩盖通信开销，提高整体吞吐量。此外，还实现了Prefill和Decode阶段的负载均衡，确保每个GPU的计算和通信负载均衡。

DeepSeekV3和R1服务使用H800 GPU，24小时内峰值占用278个节点，平均226.75个节点。系统在高峰时段全节点运行，在低谷时段减少节点用于研究和训练。24小时内，系统处理了608B输入token，其中56.3%命中KVCache，输出168B token，平均输出速率为20~22tps。平均每台H800的吞吐量为73.7k输入token/s（含缓存命中）和14.8k输出token/s。若按DeepSeek R1的定价计算，理论日收入为$562,027，实际成本利润率为545%。