2月25日,DeepSeek开源了全球首个面向MoE模型的全栈通信库DeepEP,解决AI算力焦虑问题,GitHub迅速获得1500星。
DeepEP的亮点在于其优化的NVLink技术和RDMA技术。NVLink技术使同一仓库内的GPU传输速率高达每秒158GB,相当于将北京到上海的距离缩短至喝一口水的时间。RDMA技术则实现了货物的“量子传送”,每秒可传输47个集装箱,并支持计算与通信重叠,消除停机等待。
此外,DeepEP具备智能分拣功能。在训练预填充模式下,4096个数据包同时通过智能传送带,自动识别同城或跨城件。在推理预填充模式中,128个加急包裹可在163微秒内送达,比眨眼还快5倍。
DeepEP还采用了FP8格式,将数据压缩成微型胶囊,使卡车装载量增加3倍。该系统已在DeepSeek自家仓库中实测,同城货运速度提升3倍,跨城延迟降至几乎不可感知的水平。
DeepSeek开源此技术,将大幅减少重型任务所需的GPU数量,从2000台缩减至数百台。此前,DeepSeek已发布FlashMLA,以降低大模型训练成本。
原文链接
本文链接:https://kx.umi6.com/article/14299.html
转载请注明文章出处
相关推荐
.png)
换一换
华为+DeepSeek,推理性能创新高!技术报告也公布出来了
2025-05-19 14:16:37
华泰证券:DeepEP开源有望释放推理需求 关注应用与算力
2025-03-03 09:14:06
DeepSeek 致谢腾讯技术团队,DeepEP 开源通信框架性能显著提升
2025-05-07 20:17:50
DeepSeek扔的第二枚开源王炸到底是什么?
2025-02-25 20:07:11
DeepSeek 开源进度 2/5:首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP
2025-02-25 11:53:00
通义千问 Qwen 2.5-Max 超大规模 MoE 模型号称优于 Deepseek V3 等竞品,暂未开源
2025-01-29 03:58:28
榨干每一块GPU,DeepSeek开源第二天,送上降本增效神器
2025-02-25 16:02:59
字节对MoE模型训练成本再砍一刀 成本可节省40%
2025-03-10 17:52:30
腾讯发最大开源MoE模型,3890亿参数免费可商用,跑分超Llama3.1
2024-11-07 10:16:21
DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
2025-02-25 12:00:43
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
2024-09-15 22:56:05
猎豹移动发布全新AI数据宝和MoE模型,傅盛:明年将是AI应用繁荣的一年
2024-11-28 14:31:52
华为:让DeepSeek的“专家们”动起来,推理延迟降10%!
2025-05-20 14:38:41
491 文章
180328 浏览
24小时热文
更多

-
2025-09-07 00:40:01
-
2025-09-06 23:39:46
-
2025-09-06 22:39:24