5月7日消息,腾讯技术团队对DeepSeek开源的DeepEP通信框架进行了深度优化,大幅提升了其性能。优化后,在RoCE网络环境下性能提升100%,IB网络环境下提升30%。DeepEP专为专家混合(MoE)和专家并行(EP)设计,具备高吞吐量和低延迟特性,并支持FP8低精度运算。腾讯星脉网络团队通过解决双端口网卡带宽利用率低及CPU控制面交互时延两大问题实现了这一突破。优化成果已全面开源,并成功应用于腾讯混元大模型的训练推理中,展现了良好的通用性。DeepSeek对此表示公开致谢。
原文链接
本文链接:https://kx.umi6.com/article/18264.html
转载请注明文章出处
相关推荐
.png)
换一换
DeepSeek开源第二弹,为MoE和EP量身定制的通信库!暂和英伟达显卡绑定
2025-02-25 11:49:28
DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
2025-02-25 12:00:43
华泰证券:DeepEP开源有望释放推理需求 关注应用与算力
2025-03-03 09:14:06
431 文章
72217 浏览
24小时热文
更多

-
2025-07-20 10:03:13
-
2025-07-20 10:02:01
-
2025-07-20 09:01:50