Meta AI近日推出了一款名为SPDL的开源工具，旨在提升AI模型训练中的数据加载效率。该工具采用了多线程技术，能够在常规Python解释器中实现高吞吐量，资源占用更低，并兼容Free-Threaded Python。相比传统的基于进程的数据加载方法，SPDL通过避免进程间通信的开销，提升了2-3倍的数据传输速度。此外，SPDL还引入了预取和缓存技术，确保GPU始终有数据可用，从而减少了GPU的空闲时间。该工具支持单GPU及大型集群环境，并能无缝兼容PyTorch框架。Meta表示，SPDL不仅提高了数据加载的效率，还提供了性能监控和调优工具，方便用户优化数据加载过程。

【新闻摘要】11月3日，字节跳动豆包大模型团队与香港大学联合发布并开源了全新RLHF框架——HybridFlow（开源项目名：veRL）。该框架兼容多种训练和推理框架，支持灵活的模型部署及多种强化学习（RL）算法实现。采用混合编程模型，结合单控制器的灵活性与多控制器的高效性，显著提升了训练吞吐量，降低了开发和维护复杂度。实验结果显示，HybridFlow在不同模型规模和算法下，训练吞吐量相比其他框架提升了1.5倍至20倍。目前，该论文已被EuroSys 2025接收，并公开了代码仓库。 （摘要共计227字）