2024年6月3日，昆仑万维宣布开源全球最大稀疏大模型Skywork-MoE，基于13B模型扩展，全球首例4090单卡推理的开源千亿级MoE。该模型是天工3.0系列的中档模型，146B参数，22B激活，支持8x4090服务器推理。Skywork-MoE在20B激活下性能接近70B密集模型，成本降低3倍。创新包括Gating Logits归一化和自适应Aux Loss，提高模型性能和泛化。开源地址及模型、技术报告、代码全量提供，旨在推动MoE训练和推理效率的研究。

6月3日，昆仑万维宣布开源全球首台RTX 4090服务器支持的2千亿参数稀疏大模型——天工MoE，基于Skywork-13B扩展，采用MoE Upcycling技术，可单卡运行。模型包含146B总参数和22B激活参数，16个13B Expert，每激活2个。相比同等20B激活量的Dense模型，Skywork-MoE性能接近70B，成本降低约3倍，参数规模小于DeepSeekV2的1/3。模型权重、技术报告开源，无需申请即可商用，链接如下：模型权重、仓库、技术报告及推理代码。