DeepSeek 开源进度 2/5：首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP

2025-02-25 11:53:00

跨界思维

发布在

快讯

阅读：350

2月25日，DeepSeek在开源活动中发布了首个用于MoE模型训练和推理的EP通信库——DeepEP。该库具备高效全到全通信、支持NVLink和RDMA技术、高吞吐量内核、低延迟内核及FP8数据格式支持等特点。DeepEP专为MoE和EP设计，提供高吞吐量和低延迟的all-to-all GPU内核，支持低精度计算，并兼容组限制门控算法。它还采用了通信与计算重叠方法，优化推理解码速度。要求包括Hopper GPUs、Python 3.8+、CUDA 12.3+及PyTorch 2.1+。详情可访问GitHub:

原文链接

本文链接：https://kx.umi6.com/article/14249.html

转载请注明文章出处

DeepEP