6月3日，昆仑万维宣布开源全球首台RTX 4090服务器支持的2千亿参数稀疏大模型——天工MoE，基于Skywork-13B扩展，采用MoE Upcycling技术，可单卡运行。模型包含146B总参数和22B激活参数，16个13B Expert，每激活2个。相比同等20B激活量的Dense模型，Skywork-MoE性能接近70B，成本降低约3倍，参数规模小于DeepSeekV2的1/3。模型权重、技术报告开源，无需申请即可商用，链接如下：模型权重、仓库、技术报告及推理代码。