标题：Bye，英伟达！华为NPU，跑出了准万亿参数大模型

正文：
现在，训练万亿参数大模型不再依赖英伟达，华为做到了！技术报告发布在arxiv.org/abs/2505.04519。

此前，训练万亿参数大模型面临负载均衡难、通信开销大等问题。华为盘古团队基于昇腾国产算力平台，完成了7180亿参数MoE模型的长期稳定训练，并通过多项系统优化技术显著提升效率。

团队从架构优化、负载均衡、通信瓶颈、硬件适配等方面逐一突破。例如，通过增加隐藏层大小、减少激活参数量，提高计算效率和推理吞吐量；采用TP-extend-EP技术优化通信开销；设计分级EP通信和自适应前反向掩盖策略，解决通信瓶颈。

此外，团队研发了EP组负载均衡损失算法，既不过度追求均衡，又减少通信成本。在6000+昇腾NPU集群上，模型算力利用率提升58.7%，达到30.0%。

实验表明，盘古Ultra MoE在多领域表现出色，如通用理解、数学推理、代码生成等。其专家差异化显著，输出由共享专家和路由专家共同贡献，保持平衡，提升整体表征能力。

这项突破标志着国产算力平台跻身全球领先行列，展现了中国科技自主创新的实力，未来将助力智能化转型，为科技进步贡献“中国智慧”。