Meta在进行Llama 3模型训练时遭遇大规模故障，使用了16384块英伟达H100 GPU构成的集群，但在54天内发生了419次意外故障，平均约每三小时一次。故障主要由显卡和高带宽内存（HBM3）引发，尤其GPU问题占比高达58.7%，但仅三起事件需要大量人工介入，其余由自动化管理解决。尽管面临诸多挑战，Meta团队仍保持了90%以上的有效训练时间。故障分析揭示了GPU及内存故障为主要原因，同时也指出了软件错误、网络设备问题等其他因素的影响。为应对这一挑战，Meta开发了一系列工具和优化策略，包括缩短任务启动和检查点时间、利用PyTorch的NCCL飞行记录器诊断性能问题等。同时，他们还注意到了环境因素，如温度波动和电网压力对训练的影响。此事件反映了随着AI模型参数量的增加，对计算资源的需求和复杂性也在提升，未来AI训练将面临更大挑战。