《科创板日报》30日消息，华为发布参数规模达7180亿的新模型——盘古Ultra MoE，该模型全流程基于昇腾AI计算平台训练。华为同步发布了盘古Ultra MoE的模型架构与训练方法技术报告。在训练方法上，华为首次在昇腾CloudMatrix 384超节点上实现大稀疏比MoE强化学习后训练框架，推动RL后训练进入超节点集群时代。此外，近期推出的盘古Pro MoE大模型（参数量720亿，激活160亿参数量）于2025年5月的大模型榜单SuperCLUE中，位列千亿参数量以内国内榜首。

华为推出盘古 Ultra，一款参数量135B的密集模型，性能媲美DeepSeek-R1，且训练全程无英伟达硬件参与。该模型在数学、编程等推理任务中表现出色，尤其在MMLU、TriviaQA等数据集上超越Llama 405B、DeepSeek-V3等模型。盘古 Ultra 采用创新的“三明治”层归一化架构及TinyInit初始化策略，解决了深层网络训练中的稳定性问题，实现了52%以上的算力利用率。模型训练依托8192张昇腾NPU组成的集群，结合多种并行策略与系统优化，确保高效运行。