7月10日，微软发布端侧AI模型Phi-4-mini-flash-reasoning，重点提升数学和逻辑推理能力。新模型适用于边缘设备、移动应用等资源有限场景，采用创新SambaY架构及Gated Memory Unit（GMU）组件，显著提高信息共享效率与处理性能。相比其他Phi模型，其吞吐量提升10倍，延迟降低至1/2~1/3，能更快生成答案并处理长文本或对话。Phi-4-mini-flash-reasoning已在Azure AI Foundry、NVIDIA API Catalog和Hugging Face上线，为实际应用带来重大改进。

Meta AI近日推出了一款名为SPDL的开源工具，旨在提升AI模型训练中的数据加载效率。该工具采用了多线程技术，能够在常规Python解释器中实现高吞吐量，资源占用更低，并兼容Free-Threaded Python。相比传统的基于进程的数据加载方法，SPDL通过避免进程间通信的开销，提升了2-3倍的数据传输速度。此外，SPDL还引入了预取和缓存技术，确保GPU始终有数据可用，从而减少了GPU的空闲时间。该工具支持单GPU及大型集群环境，并能无缝兼容PyTorch框架。Meta表示，SPDL不仅提高了数据加载的效率，还提供了性能监控和调优工具，方便用户优化数据加载过程。

标题：豆包大模型团队开源RLHF框架，训练吞吐量最高提升20倍 近日，字节跳动豆包大模型团队与香港大学合作，提出了HybridFlow框架，该框架能显著提升强化学习（RL）和基于人类反馈的强化学习（RLHF）的训练吞吐量，并降低开发和维护复杂度。实验显示，HybridFlow在不同模型规模和算法下的...

【新闻摘要】11月3日，字节跳动豆包大模型团队与香港大学联合发布并开源了全新RLHF框架——HybridFlow（开源项目名：veRL）。该框架兼容多种训练和推理框架，支持灵活的模型部署及多种强化学习（RL）算法实现。采用混合编程模型，结合单控制器的灵活性与多控制器的高效性，显著提升了训练吞吐量，降低了开发和维护复杂度。实验结果显示，HybridFlow在不同模型规模和算法下，训练吞吐量相比其他框架提升了1.5倍至20倍。目前，该论文已被EuroSys 2025接收，并公开了代码仓库。 （摘要共计227字）