Meta AI近日推出了一款名为SPDL的开源工具，旨在提升AI模型训练中的数据加载效率。该工具采用了多线程技术，能够在常规Python解释器中实现高吞吐量，资源占用更低，并兼容Free-Threaded Python。相比传统的基于进程的数据加载方法，SPDL通过避免进程间通信的开销，提升了2-3倍的数据传输速度。此外，SPDL还引入了预取和缓存技术，确保GPU始终有数据可用，从而减少了GPU的空闲时间。该工具支持单GPU及大型集群环境，并能无缝兼容PyTorch框架。Meta表示，SPDL不仅提高了数据加载的效率，还提供了性能监控和调优工具，方便用户优化数据加载过程。