华为推出盘古 Ultra，一款参数量135B的密集模型，性能媲美DeepSeek-R1，且训练全程无英伟达硬件参与。该模型在数学、编程等推理任务中表现出色，尤其在MMLU、TriviaQA等数据集上超越Llama 405B、DeepSeek-V3等模型。盘古 Ultra 采用创新的“三明治”层归一化架构及TinyInit初始化策略，解决了深层网络训练中的稳定性问题，实现了52%以上的算力利用率。模型训练依托8192张昇腾NPU组成的集群，结合多种并行策略与系统优化，确保高效运行。

正文：近日，GitHub 上出现了一个名为“Modded-NanoGPT”的新项目，大幅提升了GPT-2模型的训练速度。该项目由Keller Jordan开发，仅需5分钟即可在8块H100 GPU上完成GPT-2的训练，相比Andrej Karpathy的“llm.c”项目，训练时间从45分钟缩短至...