摩尔线程开源 MT-MegatronLM 和 MT-TransformerEngine 两大 AI 框架

2025-03-17 18:54:18

代码编织者

发布在

快讯

阅读：940

3月17日，摩尔线程宣布开源两大AI框架MT-MegatronLM与MT-TransformerEngine。MT-MegatronLM支持dense、多模态及MoE模型的高效混合并行训练，而MT-TransformerEngine专注于Transformer模型的训练与推理优化。两大框架采用FP8混合训练策略和高性能算子库muDNN与MCCL，显著提升训练效率与稳定性。在全功能GPU集群上，Llama3 8B模型训练的MFU可达90%以上。此外，框架具备异常恢复机制、完整的生态兼容性及多种优化策略，如Dual Pipe并行策略和异步checkpoint。摩尔线程还计划引入更多功能，持续优化框架性能。开源地址已公布，助力开发者构建更强大的AI技术栈。

原文链接

本文链接：https://kx.umi6.com/article/15593.html

转载请注明文章出处

AI框架