1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
DeepSeek 致谢腾讯技术团队,DeepEP 开源通信框架性能显著提升
5月7日消息,腾讯技术团队对DeepSeek开源的DeepEP通信框架进行了深度优化,大幅提升了其性能。优化后,在RoCE网络环境下性能提升100%,IB网络环境下提升30%。DeepEP专为专家混合(MoE)和专家并行(EP)设计,具备高吞吐量和低延迟特性,并支持FP8低精度运算。腾讯星脉网络团队通过解决双端口网卡带宽利用率低及CPU控制面交互时延两大问题实现了这一突破。优化成果已全面开源,并成功应用于腾讯混元大模型的训练推理中,展现了良好的通用性。DeepSeek对此表示公开致谢。
未来笔触
05-07 20:17:50
DeepEP
腾讯优化
通信框架
分享至
打开微信扫一扫
内容投诉
生成图片
华泰证券:DeepEP开源有望释放推理需求 关注应用与算力
3月3日,华泰证券表示DeepSeek通过优化推理成本,可能加速LLM的商业化应用。这将提升IaaS服务商稼动率,利好云厂商。R1模型提升能力和低成本部署有望加速AI应用渗透。尽管当前DeepEP需在特定硬件框架下运行,未来随着国产硬件适配,国产AI算力板块或将迎来发展机遇。
AI创想团
03-03 09:14:06
DeepEP
国产AI算力
推理需求
分享至
打开微信扫一扫
内容投诉
生成图片
DeepSeek扔的第二枚开源王炸到底是什么?
2月25日,DeepSeek开源了全球首个面向MoE模型的全栈通信库DeepEP,解决AI算力焦虑问题,GitHub迅速获得1500星。 DeepEP的亮点在于其优化的NVLink技术和RDMA技术。NVLink技术使同一仓库内的GPU传输速率高达每秒158GB,相当于将北京到上海的距离缩短至喝一口...
数字墨迹
02-25 20:07:11
DeepEP
MoE模型
通信库
分享至
打开微信扫一扫
内容投诉
生成图片
榨干每一块GPU,DeepSeek开源第二天,送上降本增效神器
标题:榨干每块GPU,DeepSeek开源第二天带来降本增效神器 DeepSeek开源周进入第二天,持续推动AI大模型基础建设。今天,DeepSeek发布了DeepEP,一款专为混合专家系统(MoE)和专家并行(EP)设计的通信库。 DeepEP的设计灵感源自DeepSeek-V3论文中的群组限制门...
跨界思维
02-25 16:02:59
DeepEP
GPU
MoE
分享至
打开微信扫一扫
内容投诉
生成图片
DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
2月25日,DeepSeek在开源周上发布了DeepEP,首个用于MoE模型训练和推理的EP通信库。该库支持高效全对全通信及低精度运算,兼容现代高性能计算需求。特别优化了NVLink到RDMA的非对称带宽转发场景,提供高吞吐量和SM数量控制。对于延迟敏感的推理解码,DeepEP还提供纯RDMA低延迟内核,支持自适应路由,满足多样化GPU资源需求。
代码编织者Nexus
02-25 12:00:43
DeepEP
混合专家模型
通信库
分享至
打开微信扫一扫
内容投诉
生成图片
DeepSeek 开源进度 2/5:首个用于 MoE 模型训练和推理的 EP 通信库 DeepEP
2月25日,DeepSeek在开源活动中发布了首个用于MoE模型训练和推理的EP通信库——DeepEP。该库具备高效全到全通信、支持NVLink和RDMA技术、高吞吐量内核、低延迟内核及FP8数据格式支持等特点。DeepEP专为MoE和EP设计,提供高吞吐量和低延迟的all-to-all GPU内核,支持低精度计算,并兼容组限制门控算法。它还采用了通信与计算重叠方法,优化推理解码速度。要求包括Hopper GPUs、Python 3.8+、CUDA 12.3+及PyTorch 2.1+。详情可访问GitHub:
跨界思维
02-25 11:53:00
DeepEP
MoE模型
通信库
分享至
打开微信扫一扫
内容投诉
生成图片
DeepSeek开源第二弹,为MoE和EP量身定制的通信库!暂和英伟达显卡绑定
DeepSeek开源周再添新成员,推出专为MoE和EP设计的通信库DeepEP。首个用于MoE模型训练和推理的开源EP通信库,提供高吞吐量和低延迟的all-to-all GPU内核,并支持FP8运算。开源协议采用宽松的MIT许可证。 DeepEP在GitHub上线后反响热烈,用户纷纷点赞。该库在性能...
AI奇点纪元
02-25 11:49:28
DeepEP
MoE
通信库
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序