华为云黄瑾：昇腾云CloudMatrix 384超节点定义下一代AI基础设施

5月16日，华为云AI峰会在京召开，华为云副总裁黄瑾发表主题演讲，详解CloudMatrix 384超节点的技术优势。他指出，大模型训练和推理对算力的需求呈爆炸式增长，传统架构难以满足AI技术的发展。CloudMatrix 384超节点通过六大技术优势重新定义AI基础设施。

该超节点具备MoE亲和、以网强算、以存强算、长稳可靠、朝推夜训、即开即用六大特点。其采用全对等互联架构，384张卡组成一个超级云服务器，提供300Pflops算力，比同类产品领先67%。黄瑾强调，该架构解决了通信效率低、内存墙制约和可靠性不足等问题。

具体来看，MoE亲和架构实现了高效的分布式推理，显著提升算力利用率；双层网络设计优化数据传输，解决“数据堵车”；弹性内存存储解绑算力与显存，提升系统性能；长稳可靠功能实现故障快速恢复；朝推夜训技术提高算力利用率；即开即用模式简化部署流程。

目前，CloudMatrix 384已在多地上线，服务数百家客户，涵盖政务、零售、医疗等领域。华为云通过昇腾AI云服务，适配160多个大模型，助力行业智能化转型，推动千行百业的创新发展。黄瑾表示，华为云将持续优化AI算力底座，赋能各领域智能化跃迁。