8月14日，字节跳动Seed团队发布并开源全模态PyTorch原生训练框架VeOmni。该框架采用以模型为中心的分布式训练方案，大幅降低工程开销，将数周的开发时间缩短至几天。相比传统框架如Megatron-LM需要一周以上研发，VeOmni仅需一天即可完成模型代码构建并开启训练任务，工程耗时压缩90%以上。实验显示，基于VeOmni，300亿参数的全模态MoE模型在128张卡上训练吞吐量超2800 tokens/sec/GPU，并支持160K超长上下文序列。目前论文与代码已公开，GitHub Star数超500。

8月14日，字节跳动Seed团队发布并开源了全模态PyTorch原生训练框架VeOmni。该框架采用以模型为中心的分布式训练方案，将复杂的分布式并行逻辑与模型计算解耦，为全模态模型提供高效的并行训练支持。这一创新能够显著降低工程开销，提升训练效率和扩展性，将原本需要数周的工程开发时间缩短至几天。VeOmni的推出为开发者提供了更便捷、高效的工具，助力全模态模型的研究与应用。