.png)
2024年6月3日，昆仑万维宣布开源全球最大稀疏大模型Skywork-MoE，基于13B模型扩展，全球首例4090单卡推理的开源千亿级MoE。该模型是天工3.0系列的中档模型，146B参数，22B激活，支持8x4090服务器推理。Skywork-MoE在20B激活下性能接近70B密集模型，成本降低3倍。创新包括Gating Logits归一化和自适应Aux Loss，提高模型性能和泛化。开源地址及模型、技术报告、代码全量提供，旨在推动MoE训练和推理效率的研究。
原文链接
本文链接：https://kx.umi6.com/article/923.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "923")
相关推荐
.png)
换一换
一个「always」站在大模型技术C位的传奇男子
2025-05-10 12:04:35
Mythos架构被22岁小伙“逆推”开源了！MoE和注意力借鉴DeepSeek
2026-04-20 16:12:29
对话蜜度CTO刘益东：价格战、MoE......中国AI大模型下一步“卷”什么？
2024-07-05 20:47:52
DeepSeek前实习生魔改MoE，用迭代机制把内存需求砍了42%，团队：“免费午餐”优化方法
2025-03-08 11:43:54
“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE
2024-06-03 18:55:11
DeepSeek开源第二弹，为MoE和EP量身定制的通信库！暂和英伟达显卡绑定
2025-02-25 11:49:28
每2秒吃透一道高数大题！华为终于揭秘准万亿MoE昇腾训练系统全流程
2025-05-30 16:54:34
腾讯推出 Hunyuan-Large 大模型：389B 总参数，业界已开源基于 Transformer 的最大 MoE 模型
2024-11-05 17:04:28
“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE
2024-06-03 18:55:11
推理成本比MoE直降83%！字节最新大模型架构入围ICLR 2025
2025-02-12 12:26:20
MoE那么大，几段代码就能稳稳推理 | 开源
2025-07-02 18:09:04
豆包提出全新稀疏模型架构 UltraMem，推理成本较 MoE 最高可降 83%
2025-02-12 13:32:45
大模型的中场战事：CoE or MoE ？
2024-08-03 11:48:38
758 文章
716972 浏览
24小时热文
更多
-
2026-06-09 11:14:27 -
2026-06-09 11:12:33
-
2026-06-09 10:10:47
