.png)
8月14日，字节跳动Seed团队发布并开源全模态PyTorch原生训练框架VeOmni。该框架采用以模型为中心的分布式训练方案，大幅降低工程开销，将数周的开发时间缩短至几天。相比传统框架如Megatron-LM需要一周以上研发，VeOmni仅需一天即可完成模型代码构建并开启训练任务，工程耗时压缩90%以上。实验显示，基于VeOmni，300亿参数的全模态MoE模型在128张卡上训练吞吐量超2800 tokens/sec/GPU，并支持160K超长上下文序列。目前论文与代码已公开，GitHub Star数超500。
原文链接
本文链接：https://kx.umi6.com/article/23595.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "23595")
相关推荐
.png)
换一换
张一鸣重回公司一线？知情人士：往返北京和新加坡 每月参与复盘和讨论会
2025-06-20 14:01:48
传字节跳动AI眼镜有新动作！ 已和供应商“搭上线”
2025-04-13 15:45:24
字节跳动发布面向海外的AI中文开发环境IDE
2025-01-20 17:23:59
Google Fellow吴永辉据悉加盟字节跳动 负责AI基础研究探索工作
2025-02-17 23:04:19
字节调整AI部门Seed，刚从Gemini加盟的吴永辉成新负责人
2025-02-21 14:55:39
字节跳动豆包新版深度思考开启测试，支持边想边搜
2025-03-28 10:38:32
拟70亿美金采购AI芯片？字节跳动或引领新一轮资本开支浪潮
2024-12-31 10:42:28
01年实习生被曝负责字节RL核心算法！系字节LLM攻坚小组成员
2025-03-20 19:41:21
字节跳动申请注册“即梦灵感助手”商标
2025-07-04 15:53:09
字节跳动最新思考模型 Seed-Thinking-v1.5 技术细节公开，4 月 17 日开放接口
2025-04-14 13:31:32
豆包内测字节跳动自研深度思考模型，并非接入 DeepSeek
2025-02-25 17:00:32
大厂AI Agent角逐 字节跳动携扣子空间进击
2025-04-22 20:31:22
字节回应与努比亚合作开发AI手机传闻：没有相关计划
2025-01-02 14:18:05
484 文章
93063 浏览
24小时热文
更多
-
2025-08-14 21:02:49 -
2025-08-14 20:05:35
-
2025-08-14 20:04:27
