近期，Meta在其研究报告中揭示了训练Llama 3 405B参数模型的挑战。在包含16384个Nvidia H100 GPU的集群上运行时，平均每三个小时发生一次故障，54天内经历了419次意外故障。故障中，58.7%归因于GPU及其高带宽内存（HBM3），导致单个GPU故障会中断整个训练过程。然而，尽管存在这些问题，Llama 3团队仍实现了超过90%的有效训练时间。 研究指出，GPU问题是主要的意外中断来源，占所有意外问题的58.7%，包括NVLink等GPU故障及HBM3内存故障。尽管故障频发，但仅有三起事件需要显著的人工干预，其余问题均能由自动化处理。其余41.3%的意外中断由软件错误、网络电缆和网络适配器混合造成。 为提高效率，Meta开发了多种工具和优化策略，包括减少任务启动和检查点时间、广泛使用PyTorch内置的NCCL飞行记录器，以及识别滞后的GPU。NCCLX在故障检测和定位方面至关重要，尤其对于NVLink和RoCE相关问题，与PyTorch的集成允许监控和自动超时由NVLink故障引起的通信停顿。 研究还关注到，大型训练过程中，成千上万的GPU可能同时增加或减少功耗，给数据中心的电网带来压力。Meta必须确保其数据中心有足够的电力来维持405B模型及未来更大规模Llama模型的正常运转。 通过上述努力，Llama 3 405B预训练实现了90%的有效训练时间，展现了AI训练领域的技术挑战与解决方案。