综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
10月13日,蚂蚁集团开源了业界首个高性能扩散语言模型推理框架dInfer。在基准测试中,dInfer将扩散语言模型的推理速度提升10.7倍,超越英伟达Fast-dLLM框架;在代码生成任务HumanEval上,单批次推理速度达1011Tokens/秒,首次显著超越自回归模型。扩散语言模型通过“去噪”生成文本,具备高度并行、全局视野等优势,但推理效率长期受限于计算成本高等问题。dInfer通过四大核心模块针对性解决这些瓶颈,支持多种模型优化与评测。在配备8块NVIDIA H800 GPU的节点上,其速度是vLLM运行AR模型的2.5倍。蚂蚁集团表示,dInfer推动扩散语言模型迈向实践高效,邀请全球开发者共同探索AI潜能。
原文链接
2025年9月12日,在2025Inclusion·外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型“LLaDA-MoE”。该模型在约20T数据上完成从零训练,验证了工业级大规模训练的扩展性与稳定性。模型将在近期完全开源,旨在推动全球AI社区在扩散语言模型(dLLM)领域的技术发展。这一成果标志着AI模型架构及训练方法的重要突破。(记者 黄心怡)
原文链接
9月11日,2025外滩大会上,蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构扩散语言模型LLaDA-MoE。该模型在约20T数据上完成训练,性能超越此前稠密扩散语言模型LLaDA1.0/1.5和Dream-7B,接近自回归模型Qwen2.5-3B-Instruct,并具备数倍推理速度优势。模型通过非自回归掩码扩散机制,挑战“语言模型必须自回归”的主流认知,在代码、数学等任务中表现优异。蚂蚁集团表示,模型及自研推理框架将于近期完全开源,推动全球AI社区技术发展。此外,蚂蚁将持续投入AGI领域,探索基于dLLM的未来突破路径。
原文链接
标题:字节Seed发布扩散语言模型,推理速度达2146 tokens/s
字节Seed推出了一款基于扩散模型的代码生成工具——Seed Diffusion Preview。这款模型采用离散状态扩散技术,在推理速度上表现出色,每秒可生成2146个token,比同类模型快数倍,且较同等规模的自回归模...
原文链接
7月31日,字节跳动Seed团队发布实验性扩散语言模型Seed Diffusion Preview。该模型以结构化代码生成为实验领域,旨在验证离散扩散技术作为下一代语言模型基础框架的可行性。实验数据显示,其代码推理速度达2146 tokens/s,比同等规模的自回归模型快5.4倍。这一成果展示了扩散模型在语言生成领域的潜力,为未来技术发展提供了新方向。
原文链接
7月31日,字节跳动Seed团队发布实验性扩散语言模型Seed Diffusion Preview,专注于结构化代码生成领域。该模型推理速度达2146 tokens/s,比同等规模自回归模型快5.4倍,在多个基准测试中性能相当,并在代码编辑任务上实现超越。团队表示,离散扩散技术展现了推理加速潜力及解决复杂结构化推理问题的新可能性,未来将探索其规模化应用与深层价值。
原文链接
加载更多
暂无内容