北航、ETH等机构的研究人员提出了一种名为BiDM的新方法,首次将扩散模型(DMs)的权重和激活完全二值化。此方法从时间(TBS)和空间(SPD)角度优化扩散模型。实验显示,W1A1 BiDM在LSUN-Bedrooms 256×256上的LDM-4模型上取得22.74的FID分数,远超当前最先进方法的59.44分,存储节省28倍,效率提升52.7倍。
扩散模型因高质量生成能力受关注,但昂贵的浮点计算限制其应用。BiDM通过完全二值化权重和激活,结合TBS和SPD技术,克服了完全二值化的挑战。TBS通过可学习的激活二值量化器和跨时间步特征连接,SPD则引入全精度模型监督局部特征,引导二值模型优化。
实验表明,BiDM在CIFAR-10和LSUN-Bedrooms等数据集上,优于现有基线方法。在LSUN-Bedrooms数据集上,BiDM的FID降至22.74,存储节省28倍,效率提升52.7倍。
原文链接
本文链接:https://kx.umi6.com/article/11516.html
转载请注明文章出处
相关推荐
换一换
12秒生成1万token!谷歌推出文本「扩散模型」Gemini Diffusion,研究员:演示都得降速看
2025-05-22 15:30:59
OpenAI宋飏被Meta挖跑了!扩散模型崛起关键人物,加入MSL再会师清华校友赵晟佳
2025-09-25 22:11:00
Scaling Law终结,量化也不管用,AI大佬都在审视这篇论文
2024-11-13 16:46:53
冲破 AGI 迷雾,蚂蚁看到了一个新路标
2025-09-29 11:08:37
从不确定到安全:如何安全控制复杂物理系统
2025-07-19 17:56:25
今日最热论文:Scaling Law终结,量化也不管用,AI大佬齐刷刷附议
2024-11-13 15:39:06
跳过“逐字生成”!蚂蚁集团赵俊博:扩散模型让我们能直接修改Token | MEET2026
2025-12-12 12:47:17
扩散模型成最快深度思考!告别自回归每秒1009个tokens,英伟达微软都投了
2026-02-26 10:41:31
智源推出全能视觉生成模型 OmniGen:支持文生图、图像编辑等
2024-10-29 16:33:28
华人团队终结Token危机:扩散模型数据潜力超自回归三倍
2025-08-13 17:38:29
小众架构赢麻了!通过编辑功能让100B扩散模型飙出892 tokens/秒的速度!
2026-02-11 10:10:31
CVPR 2026 生成式 AI 观察梳理:视觉模型开始重写默认设定
2026-04-30 11:18:37
嚯!大语言扩散模型来了,何必只预测下一个token | 人大高瓴&蚂蚁
2025-02-18 13:14:03
797 文章
1041545 浏览
24小时热文
更多
-
2026-10-22 15:53:37 -
2026-10-22 15:52:14 -
2026-10-22 15:50:48