.png)
10月13日，蚂蚁集团开源了业界首个高性能扩散语言模型推理框架dInfer。在基准测试中，dInfer将扩散语言模型的推理速度提升10.7倍，超越英伟达Fast-dLLM框架；在代码生成任务HumanEval上，单批次推理速度达1011Tokens/秒，首次显著超越自回归模型。扩散语言模型通过“去噪”生成文本，具备高度并行、全局视野等优势，但推理效率长期受限于计算成本高等问题。dInfer通过四大核心模块针对性解决这些瓶颈，支持多种模型优化与评测。在配备8块NVIDIA H800 GPU的节点上，其速度是vLLM运行AR模型的2.5倍。蚂蚁集团表示，dInfer推动扩散语言模型迈向实践高效，邀请全球开发者共同探索AI潜能。
原文链接
本文链接：https://kx.umi6.com/article/26558.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
.png "26558")
相关推荐
.png)
换一换
字节跳动Seed团队发布扩散语言模型 每秒推理速度2146 tokens
2025-08-01 09:24:01
谷歌IMO金牌模型可以用了！推理性能秒了o3、Grok 4
2025-08-02 10:14:11
马斯克 xAI 最具性价比 AI 模型 Grok 4 Fast 登场：Grok 4 级性能，价格降低 98%
2025-09-20 12:27:10
华为+DeepSeek，推理性能创新高！技术报告也公布出来了
2025-05-19 14:16:37
蚂蚁与中国人民大学发布首个原生MoE扩散语言模型
2025-09-12 11:12:20
字节跳动 Seed 团队发布扩散语言模型 Diffusion Preview，每秒推理速度 2146 tokens
2025-08-01 09:05:41
华为 + DeepSeek 推理性能创新高，技术报告公布
2025-05-19 14:19:50
2025外滩大会：蚂蚁、人大发布首个原生MoE扩散语言模型，将于近期开源
2025-09-12 10:08:55
预定最强 AI：xAI Grok-3 有望下周登场，推理性能超 OpenAI o1
2025-01-27 09:24:35
字节Seed发布扩散语言模型，推理速度达2146 tokens/s，比同规模自回归快5.4倍
2025-08-01 15:00:45
刚刚，OpenAI开源2个推理模型：笔记本/手机就能跑，性能接近o4-mini
2025-08-06 06:22:19
推理性能提升10倍！蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
2025-10-13 18:00:58
美国俄亥俄州议员拟立法阻止 AI 获得法律人格：人与 AI 不能“结婚”
2025-10-13 09:54:45
513 文章
241123 浏览
24小时热文
更多
-
2025-10-13 20:03:18 -
2025-10-13 20:03:11
-
2025-10-13 20:02:11
