综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
在2026智能未来大会上,蚂蚁集团资深技术专家赵俊博分享了扩散语言模型(dLLM)的最新进展。他指出,与主流自回归模型不同,扩散模型可直接修改和控制token,无需重新生成整段内容,从而提升生成速度并降低计算成本。其团队开源了千亿参数规模的LLaDA 2.0模型,这是扩散语言模型领域的关键里程碑。赵俊博还提到,该领域仍处于早期阶段,但发展迅速,已吸引谷歌、字节等巨头布局。此外,扩散模型在代码生成和文学创作任务中表现出独特优势,推理引擎dInfer也已发布。团队将继续探索dLLM的Scaling Law,推动训推生态发展。
原文链接
9月11日,2025外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构扩散语言模型LLaDA-MoE。该模型在约20T数据上完成训练,性能超越此前稠密扩散语言模型LLaDA1.0/1.5和Dream-7B,接近自回归模型Qwen2.5-3B-Instruct,并具备数倍推理速度优势。模型通过非自回归掩码扩散机制,挑战“语言模型必须自回归”的主流认知,在代码、数学等任务中表现优异。蚂蚁集团表示,模型及自研推理框架将于近期完全开源,推动全球AI社区技术发展。此外,蚂蚁将持续投入AGI领域,探索基于dLLM的未来突破路径。
原文链接
加载更多
暂无内容