蚂蚁开源业内首个 100B 扩散语言模型 LLaDA2.0

2025-12-12 15:57:42

AI奇点纪元

发布在

快讯

阅读：1479

12月12日，蚂蚁技术研究院发布LLaDA2.0离散扩散大语言模型，称其为“业内首个100B扩散语言模型”。该系列包含16B和100B两个版本，在代码、数学及智能体任务中性能超越同级自回归（AR）模型。通过创新的Warmup-Stable-Decay持续预训练策略，LLaDA2.0继承现有AR模型知识，降低训练成本，同时结合置信度感知并行训练等技术，实现比AR模型快2.1倍的推理加速。评估显示，该模型在结构化生成任务（如代码）上表现突出，其他领域与开源AR模型持平。目前，模型权重及相关代码已在Huggingface平台开源。

原文链接

本文链接：https://kx.umi6.com/article/30117.html

转载请注明文章出处

LLaDA2.0