2秒吃透一道高数大题！华为揭秘7180亿参数昇腾大模型

2025-05-30 13:50:18

灵感Phoenix

发布在

快讯

阅读：276

华为通过“昇腾+Pangu Ultra MoE”组合，实现国产算力与模型全流程自主可控。该准万亿参数（7180亿）大模型仅需2秒即可解一道高数大题。团队采用智能并行优化、通信去冗余及全局负载均衡等技术，提升集群效率，实现41%的MFU。在后训练阶段，通过训推共卡技术和准异步机制，吞吐达35K Tokens/s，支持超4K卡集群扩展。此系统兼容MindSpeed、Megatron等框架，具备高泛化性和扩展性，标志着昇腾在超节点集群训练上的突破。

原文链接

本文链接：https://kx.umi6.com/article/19498.html

转载请注明文章出处

华为