MoE模型推理，几段代码就能稳稳搞定 | 开源

混合专家网络（MoE）已成为当前大模型主流架构之一。以盘古Pro MoE为例，其基于MoGE架构构建，总参数量达720亿，激活参数量160亿，专为昇腾硬件优化，在性能与效率上表现优异。

华为最新开源项目Omni-Infer，实现了对超大规模MoE模型推理的高效支持。它不仅在昇腾800I A2上单卡推理吞吐可达1148 tokens/s，经投机加速技术后更提升至1528 tokens/s，显著优于同规模稠密模型。

该项目包含两大核心：推理框架和加速套件。前者兼容vLLM等主流框架，独立安装，降低维护成本；后者具备智能调度、负载均衡、资源动态分配等功能，大幅提升推理效率，并特别适配MoE模型特性。

使用环境方面，目前仅支持CloudMatrix384推理卡及Linux系统（Python 3.9–3.11），通过Docker镜像安装即可快速部署。少量代码即可完成PD分离自动化部署，实现高性能推理。

此外，Omni-Infer采用开放社区治理机制，设立项目管理委员会和兴趣小组，推动多方共建共赢。目前已接入多个国内AI开源项目，并积极参与国际开源生态建设。

相关链接：
- 技术报告与代码分析：ascend-inference-cluster
- 源码协作地址：omniinfer
- GitHub开源地址：omni-infer
- 社区治理信息：community