中国移动发布“芯合”异构混合并行训练系统 1.0，支持多品牌万卡集群

2024-12-03 12:14:59

电子诗篇

发布在

快讯

阅读：116

12月3日，中国移动在2024中国信息通信大会上发布“芯合”异构混合并行训练系统1.0，该系统支持多品牌万卡集群。该系统具备基于非均匀计算任务切分（ITD）算法的3D并行策略和基于GDR的异构芯片高速通信两大核心技术，目前已实现百亿参数大模型在英伟达、天数智芯、壁仞科技、海光等4家智算芯片上的交叉混合训练，规模支持万卡集群，训练加速比达95%以上，处于业界领先水平。同时，中国移动还联合华为、瀚博、澎峰、海光、天数智芯等合作伙伴推出智算“芯合”算力原生基础软件栈2.0，相较于1.0版本，实现了能力、性能和效率三大升级，支持泛AI应用在6家智算芯片间一键式跨芯迁移，转换效率大于95%，迁移性能损耗小于10%，迁移时间小于20秒，已具备规模商用条件。

原文链接

本文链接：https://kx.umi6.com/article/9601.html

转载请注明文章出处

中国移动