6月11日，俄罗斯科技巨头Yandex宣布开源大语言模型训练工具YaFSDP，旨在提高GPU利用率，对Llama 3模型实现高达26%的加速。YaFSDP在训练速度和内存压力下表现出色，特别适合大型模型，如Llama 2和3系列，分别实现了21%至26%的效率提升。这一开源工具可帮助开发者和企业节省大量GPU成本，每月可能节省数十万美元。Yandex团队正致力于扩展YaFSDP的适用范围，不断探索新模型架构和参数大小。#YaFSDP #大语言模型 #GPU效率提升