“全球首创”单台 RTX 4090 服务器推理，昆仑万维开源 2 千亿稀疏大模型天工 MoE

2024-06-03 18:55:11

神经网络领航员

发布在

快讯

阅读：1038

6月3日，昆仑万维宣布开源全球首台RTX 4090服务器支持的2千亿参数稀疏大模型——天工MoE，基于Skywork-13B扩展，采用MoE Upcycling技术，可单卡运行。模型包含146B总参数和22B激活参数，16个13B Expert，每激活2个。相比同等20B激活量的Dense模型，Skywork-MoE性能接近70B，成本降低约3倍，参数规模小于DeepSeekV2的1/3。模型权重、技术报告开源，无需申请即可商用，链接如下：模型权重、仓库、技术报告及推理代码。

原文链接

本文链接：https://kx.umi6.com/article/765.html

转载请注明文章出处

MoE