6月17日，MiniMax发布全球首个开源大规模混合架构推理模型M1，创始人闫俊杰称‘大山不是不能翻越’。M1通过闪电注意力机制和强化学习算法CISPO实现高效推理，仅用512块H800三周完成训练。随后4天内，公司连续推出视频生成模型、智能体等多款产品。资本市场方面，MiniMax被曝正考虑港股IPO，此前已积累十几亿美元现金储备，近期完成Pre-IPO融资。公司成立于2022年，专注MoE架构研发，曾将80%算力投入此技术路线。尽管其M1模型未引发轰动，业内对其探索路径评价积极。面对DeepSeek竞争，MiniMax坚持自研底层模型，海外应用则选择接入DeepSeek。

6月17日，上海AI公司MiniMax发布全球首个开源大规模混合架构推理模型MiniMax-M1，在权威评测榜单位列全球开源模型第二。M1支持100万token上下文输入，输出长度达8万token，性能和性价比均表现突出。此后4个工作日，MiniMax接连推出视频生成模型Hailuo 02、智能体产品及音色设计工具。Hailuo 02在物理世界规律理解方面表现出色，生成的“猫跳水”视频动作逻辑清晰，已在Instagram获3亿流量。MiniMax坚持基座模型研发，采用MoE架构、线性注意力机制及CISPO强化学习方法，实现高效能低成本突破。作为大模型‘上海队’一员，MiniMax与商汤、阶跃星辰等共同推动AI产业发展。

MoE模型推理，几段代码就能稳稳搞定 | 开源 混合专家网络（MoE）已成为当前大模型主流架构之一。以盘古Pro MoE为例，其基于MoGE架构构建，总参数量达720亿，激活参数量160亿，专为昇腾硬件优化，在性能与效率上表现优异。 华为最新开源项目Omni-Infer，实现了对超大规模MoE模型推...

华为近日开源了超大规模MoE推理项目Omni-Infer，为解决大模型推理的高效与稳定问题提供了标准答案。该项目面向企业用户，提供PD分离部署方案、QPM系统级优化及商用硬件使用方法论，同时推动开发者社区发展。北京智源研究院、上海人工智能实验室和OpenI启智社区均表示支持，并期待生态合作。Omni-Infer由推理框架和加速套件组成，兼容主流框架如vLLM，具备智能调度、负载均衡、MoE优化等特性，提升推理效率。目前仅支持CloudMatrix384推理卡和Linux环境，通过Docker镜像安装，开箱即用。Omni-Infer还建立了专业开源社区，开放治理、会议、活动等信息，采用两级管理机制，主动适配国内开源项目，推动多方共赢。相关资源链接已公布，包括技术报告、代码仓库及社区页面。

6月30日，华为正式宣布开源盘古7B稠密模型和盘古Pro MoE 72B混合专家模型，以及基于昇腾的模型推理技术。此次开源是华为推进昇腾生态战略的重要举措，旨在推动大模型技术发展与行业应用。目前，盘古Pro MoE 72B模型的权重和基础推理代码已上线开源平台，基于昇腾的超大规模MoE模型推理代码也已开放。盘古7B的相关模型权重与推理代码将在近期上线。

2025年6月27日，腾讯正式发布并开源混元-A13B大模型，该模型基于专家混合（MoE）架构，总参数800亿、激活参数130亿，在数学推理和逻辑任务上表现优异，甚至在极端条件下仅需1张中低端GPU即可部署。用户可通过Github、HuggingFace等平台下载使用。模型支持快慢两种思考模式，兼顾效率与准确性，适用于智能体应用及复杂指令响应，预训练数据达20万亿词元，优化了计算资源分配，为个人开发者和中小企业提供高效解决方案。

2023年6月27日，腾讯混元大模型家族发布新成员——混元-A13B模型并开源。该模型是业界首个13B级别的MoE混合推理开源模型，总参数达800亿，激活参数130亿，可在极端条件下仅用1张中低端GPU卡部署。模型通过MoE架构提升推理效率与计算性能，支持快慢两种思考模式，适用于不同任务需求。同时，腾讯开源了两个新数据集ArtifactsBench和C3-Bench，用于代码评估和Agent场景测试。在数学、科学和逻辑推理任务中表现优异，已在GitHub和腾讯云上线。

标题：训练MoE提速70%！华为的三大优化策略 正文： Scaling Law推动下，MoE成为各大模型厂商扩展能力的关键工具。然而，MoE在提升参数规模的同时，也带来了训练效率低下的问题，甚至一半以上的时间浪费在“等待”上。 华为推出了名为Adaptive Pipe & EDPB的...

5月30日，华为推出参数规模达7180亿的盘古Ultra MoE模型，这是首个全流程在昇腾AI计算平台上训练的准万亿MoE模型。盘古团队采用Depth-Scaled Sandwich-Norm稳定架构及TinyInit小初始化方法，在昇腾平台上完成了超过18TB数据的长期稳定训练。华为首次在昇腾CloudMatrix 384超节点上实现大稀疏比MoE强化学习后训练框架，推动RL后训练进入超节点集群时代。基于5月初发布的预训练系统加速技术，华为团队通过多项技术创新，包括自适应流水掩盖策略、算子执行序优化、Host-Bound降低及EP通信掩盖提升、内存优化策略开发、数据重排实现DP间Attention负载均衡及昇腾亲和算子优化，使万卡集群预训练MFU从30%提升至41%。

《科创板日报》30日消息，华为发布参数规模达7180亿的新模型——盘古Ultra MoE，该模型全流程基于昇腾AI计算平台训练。华为同步发布了盘古Ultra MoE的模型架构与训练方法技术报告。在训练方法上，华为首次在昇腾CloudMatrix 384超节点上实现大稀疏比MoE强化学习后训练框架，推动RL后训练进入超节点集群时代。此外，近期推出的盘古Pro MoE大模型（参数量720亿，激活160亿参数量）于2025年5月的大模型榜单SuperCLUE中，位列千亿参数量以内国内榜首。