1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

2月25日,DeepSeek开源了全球首个面向MoE模型的全栈通信库DeepEP,解决AI算力焦虑问题,GitHub迅速获得1500星。

DeepEP的亮点在于其优化的NVLink技术和RDMA技术。NVLink技术使同一仓库内的GPU传输速率高达每秒158GB,相当于将北京到上海的距离缩短至喝一口水的时间。RDMA技术则实现了货物的“量子传送”,每秒可传输47个集装箱,并支持计算与通信重叠,消除停机等待。

此外,DeepEP具备智能分拣功能。在训练预填充模式下,4096个数据包同时通过智能传送带,自动识别同城或跨城件。在推理预填充模式中,128个加急包裹可在163微秒内送达,比眨眼还快5倍。

DeepEP还采用了FP8格式,将数据压缩成微型胶囊,使卡车装载量增加3倍。该系统已在DeepSeek自家仓库中实测,同城货运速度提升3倍,跨城延迟降至几乎不可感知的水平。

DeepSeek开源此技术,将大幅减少重型任务所需的GPU数量,从2000台缩减至数百台。此前,DeepSeek已发布FlashMLA,以降低大模型训练成本。

原文链接
本文链接:https://kx.umi6.com/article/14299.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
通义千问 Qwen 2.5-Max 超大规模 MoE 模型号称优于 Deepseek V3 等竞品,暂未开源
2025-01-29 03:58:28
DeepSeek 致谢腾讯技术团队,DeepEP 开源通信框架性能显著提升
2025-05-07 20:17:50
“狠人”闫俊杰,闯关IPO
2025-07-11 13:37:48
华为:让DeepSeek的“专家们”动起来,推理延迟降10%!
2025-05-20 14:38:41
华为+DeepSeek,推理性能创新高!技术报告也公布出来了
2025-05-19 14:16:37
腾讯发最大开源MoE模型,3890亿参数免费可商用,跑分超Llama3.1
2024-11-07 10:16:21
华泰证券:DeepEP开源有望释放推理需求 关注应用与算力
2025-03-03 09:14:06
DeepSeek扔的第二枚开源王炸到底是什么?
2025-02-25 20:07:11
MiniMax闫俊杰对话黄明明:AGI,只有一条最难但唯一的道路
2024-06-20 18:35:57
KTransformers入选计算机系统顶会、与主流框架合作,趋境&清华让「异构」成为推理新范式
2025-10-23 10:01:08
DeepSeek 开源进度 2/5:首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP
2025-02-25 11:53:00
英伟达“超神”的背后:AI厂商迫切地在MoE模型上寻求算力新解法
2024-06-20 20:26:57
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
2024-09-15 22:56:05
24小时热文
更多
扫一扫体验小程序