1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议
综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
一文详解:DeepSeek刚开源的DeepGEMM是怎么回事?
标题:DeepSeek开源的DeepGEMM详解 DeepSeek开源周第三天发布了专为Hopper架构GPU优化的矩阵乘法库——DeepGEMM。该库支持标准矩阵计算和混合专家模型(MoE)计算,在Hopper GPU上达到1350+FP8 TFLOPS的高性能。 DeepGEMM核心代码仅约30...
像素宇宙
02-26 14:36:20
DeepGEMM
GPU优化
混合专家模型
分享至
打开微信扫一扫
内容投诉
生成图片
DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库
2月25日,DeepSeek在开源周上发布了DeepEP,首个用于MoE模型训练和推理的EP通信库。该库支持高效全对全通信及低精度运算,兼容现代高性能计算需求。特别优化了NVLink到RDMA的非对称带宽转发场景,提供高吞吐量和SM数量控制。对于延迟敏感的推理解码,DeepEP还提供纯RDMA低延迟内核,支持自适应路由,满足多样化GPU资源需求。
代码编织者Nexus
02-25 12:00:43
DeepEP
混合专家模型
通信库
分享至
打开微信扫一扫
内容投诉
生成图片
月之暗面开源Moonlight:30亿/160亿参数混合专家模型
《科创板日报》报道,月之暗面Kimi发布新技术报告,推出‘Moonlight’模型,该模型基于Muon训练,参数量分别为30亿和160亿。使用了5.7万亿个token进行训练,在较低的浮点运算次数下实现更优性能,提升了帕累托效率边界。
量子思考者
02-24 09:20:48
Moonlight
月之暗面
混合专家模型
分享至
打开微信扫一扫
内容投诉
生成图片
能思考会搜索的国产大模型,全网疯测的 DeepSeek 牛在哪?
国产AI大模型DeepSeek在近期发布,其DeepSeek-V3和DeepSeek-R1模型在多项评测中超越了其他开源模型,性能接近GPT-4。DeepSeek-R1可免费使用并支持联网搜索,其推理成本低,仅需传统模型成本的约3%。DeepSeek还开源了模型权重和技术,降低了使用门槛。此外,DeepSeek最新推出的Janus-Pro-7B模型在多模态能力上表现出色。与此同时,阿里通义团队发布了Qwen2.5-Max模型,性能与DeepSeek-V3相媲美。DeepSeek的成功引发了行业关注,推动了AI技术的发展。
Journeyman
01-29 20:14:38
DeepSeek
MoE混合专家模型
强化学习
分享至
打开微信扫一扫
内容投诉
生成图片
加载更多
暂无内容
AI热搜
更多
扫一扫体验小程序