12月2日,英伟达发布新型AI解码方法TiDAR,融合自回归与扩散模型机制,利用GPU‘空闲槽位’加速文本生成。该技术通过单步生成多个Token,大幅提升AI吞吐量,最高可达近600%。TiDAR创新性训练单一Transformer模型同时执行自回归预测和扩散并行起草,解决了早期扩散解码器的部署难题。测试显示,在HumanEval和GSM8K基准中,其准确率与基准模型持平甚至更高,15亿参数版本吞吐量提升4.71倍,80亿参数版本达5.91倍。但目前测试仅限于中小模型,未来需验证大规模模型上的实用性。
原文链接
本文链接:https://kx.umi6.com/article/29513.html
转载请注明文章出处
相关推荐
换一换
超越扩散模型!自回归新范式仅需2.9秒就生成高质量图像
2024-06-27 13:56:56
扩散模型成最快深度思考!告别自回归每秒1009个tokens,英伟达微软都投了
2026-02-26 10:41:31
OpenAI的吉卜力,撞车了被字节起诉“投毒AI”的前实习生?
2025-04-03 14:24:18
独家|黑湖科技完成近10亿元D轮融资
2026-04-23 08:59:12
仅靠219个字!AI耗时12小时设计出完整CPU:传统研发需18-36个月
2026-04-24 17:26:33
OpenAI发布20颗HBM内存堆栈的芯片专利
2026-04-23 17:19:48
特斯拉:Cortex 2算力集群现已上线 并已开始运行训练任务
2026-04-23 08:58:08
阶跃StepAudio 2.5 ASR上线 支持500TPS极速推理
2026-04-24 14:19:56
Deepseek官网公布deepseek-v4接口文档
2026-04-24 11:10:00
荣耀WIN游戏本等多款新品正式发布,荣耀PC家族全面爆发
2026-04-24 17:20:32
国家药监局:以“人工智能+药品监管”建设为主线 全力推进药品智慧监管建设和统计各项工作
2026-04-24 18:31:29
小鹏集团董事长:正与海外企业洽谈合作 并计划在境外新建工厂
2026-04-24 14:18:50
成都出台人工智能产业人才九条 最高给予10亿元综合支持
2026-04-23 20:29:56
732 文章
618726 浏览
24小时热文
更多
-
2026-04-24 20:31:56 -
2026-04-24 20:29:51 -
2026-04-24 19:29:38