2025外滩大会：蚂蚁、人大发布首个原生MoE扩散语言模型，将于近期开源

2025-09-12 10:08:55

数据炼金师

发布在

快讯

阅读：945

9月11日，2025外滩大会上，蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构扩散语言模型LLaDA-MoE。该模型在约20T数据上完成训练，性能超越此前稠密扩散语言模型LLaDA1.0/1.5和Dream-7B，接近自回归模型Qwen2.5-3B-Instruct，并具备数倍推理速度优势。模型通过非自回归掩码扩散机制，挑战“语言模型必须自回归”的主流认知，在代码、数学等任务中表现优异。蚂蚁集团表示，模型及自研推理框架将于近期完全开源，推动全球AI社区技术发展。此外，蚂蚁将持续投入AGI领域，探索基于dLLM的未来突破路径。

原文链接

本文链接：https://kx.umi6.com/article/25108.html

转载请注明文章出处

LLaDA-MoE