3月11日,科大讯飞与华为联合宣布,在国产算力领域取得重大突破。双方团队率先实现MoE模型的大规模跨节点专家并行集群推理,这是基于国产算力的首个全新解决方案。通过软硬件协同创新,团队在昇腾集群上完成了验证和部署,显著提升了性能,例如MLA前处理时延降低50%以上。此外,他们构建了TP+EP混合范式,实现了专家数据交换效率提升40%,卡间负载差异小于10%,集群吞吐提升30%。此技术还将应用于讯飞星火深度推理模型的训练加速,预期训练时推理效率将提升200%。
原文链接
本文链接:https://kx.umi6.com/article/15235.html
转载请注明文章出处
相关推荐
.png)
换一换
推理模型规划任务成功率从5%到95%,DeepMind遗传算法新研究火了
2025-01-23 15:19:02
AI 医疗建议可靠性存疑:MIT 研究揭示用户提问方式影响 AI 判断
2025-07-10 20:26:59
一手测评Claude 3.5,它真比GPT-4o强吗?
2024-06-21 22:15:17
468 文章
68744 浏览
24小时热文
更多

-
2025-07-18 23:46:25
-
2025-07-18 22:47:06
-
2025-07-18 22:46:21