摘要： 近期，Meta发布的关于Llama 3.1预训练的论文揭示了一个令人关注的事实：在为期54天的预训练期间，Llama 3.1遇到了频繁的故障问题，平均每3小时故障一次，总共有466次中断，其中419次为意外中断，且大部分归咎于硬件问题，尤其是GPU，占总数的58.7%。尽管如此，Llama...