3月17日，摩尔线程宣布开源两大AI框架MT-MegatronLM与MT-TransformerEngine。MT-MegatronLM支持dense、多模态及MoE模型的高效混合并行训练，而MT-TransformerEngine专注于Transformer模型的训练与推理优化。两大框架采用FP8混合训练策略和高性能算子库muDNN与MCCL，显著提升训练效率与稳定性。在全功能GPU集群上，Llama3 8B模型训练的MFU可达90%以上。此外，框架具备异常恢复机制、完整的生态兼容性及多种优化策略，如Dual Pipe并行策略和异步checkpoint。摩尔线程还计划引入更多功能，持续优化框架性能。开源地址已公布，助力开发者构建更强大的AI技术栈。