华为通过“昇腾+Pangu Ultra MoE”组合,实现国产算力与模型全流程自主可控。该准万亿参数(7180亿)大模型仅需2秒即可解一道高数大题。团队采用智能并行优化、通信去冗余及全局负载均衡等技术,提升集群效率,实现41%的MFU。在后训练阶段,通过训推共卡技术和准异步机制,吞吐达35K Tokens/s,支持超4K卡集群扩展。此系统兼容MindSpeed、Megatron等框架,具备高泛化性和扩展性,标志着昇腾在超节点集群训练上的突破。
原文链接
本文链接:https://kx.umi6.com/article/19498.html
转载请注明文章出处
相关推荐
.png)
换一换
黄仁勋:华为是“令人敬畏的科技公司”
2025-07-16 21:13:52
硅基流动入驻阿里云云市场,核心 API 服务将全面接入百炼平台
2025-06-19 09:45:52
大模型公司挖墙脚哪家强?
2025-06-05 14:50:54
454 文章
79625 浏览
24小时热文
更多

-
2025-07-20 23:09:27
-
2025-07-20 22:09:17
-
2025-07-20 21:10:03