1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

2月25日,DeepSeek开源了全球首个面向MoE模型的全栈通信库DeepEP,解决AI算力焦虑问题,GitHub迅速获得1500星。

DeepEP的亮点在于其优化的NVLink技术和RDMA技术。NVLink技术使同一仓库内的GPU传输速率高达每秒158GB,相当于将北京到上海的距离缩短至喝一口水的时间。RDMA技术则实现了货物的“量子传送”,每秒可传输47个集装箱,并支持计算与通信重叠,消除停机等待。

此外,DeepEP具备智能分拣功能。在训练预填充模式下,4096个数据包同时通过智能传送带,自动识别同城或跨城件。在推理预填充模式中,128个加急包裹可在163微秒内送达,比眨眼还快5倍。

DeepEP还采用了FP8格式,将数据压缩成微型胶囊,使卡车装载量增加3倍。该系统已在DeepSeek自家仓库中实测,同城货运速度提升3倍,跨城延迟降至几乎不可感知的水平。

DeepSeek开源此技术,将大幅减少重型任务所需的GPU数量,从2000台缩减至数百台。此前,DeepSeek已发布FlashMLA,以降低大模型训练成本。

原文链接
本文链接:https://kx.umi6.com/article/14299.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
2025-02-25 12:00:43
英伟达“超神”的背后:AI厂商迫切地在MoE模型上寻求算力新解法
2024-06-20 20:26:57
DeepSeek扔的第二枚开源王炸到底是什么?
2025-02-25 20:07:11
DeepSeek 开源进度 2/5:首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP
2025-02-25 11:53:00
DeepSeek 致谢腾讯技术团队,DeepEP 开源通信框架性能显著提升
2025-05-07 20:17:50
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
2024-09-15 22:56:05
猎豹移动发布全新AI数据宝和MoE模型,傅盛:明年将是AI应用繁荣的一年
2024-11-28 14:31:52
榨干每一块GPU,DeepSeek开源第二天,送上降本增效神器
2025-02-25 16:02:59
华泰证券:DeepEP开源有望释放推理需求 关注应用与算力
2025-03-03 09:14:06
“狠人”闫俊杰,闯关IPO
2025-07-11 13:37:48
DeepSeek开源第二弹,为MoE和EP量身定制的通信库!暂和英伟达显卡绑定
2025-02-25 11:49:28
KTransformers入选计算机系统顶会、与主流框架合作,趋境&清华让「异构」成为推理新范式
2025-10-23 10:01:08
MiniMax闫俊杰对话黄明明:AGI,只有一条最难但唯一的道路
2024-06-20 18:35:57
24小时热文
更多
扫一扫体验小程序