北航、ETH等机构的研究人员提出了一种名为BiDM的新方法,首次将扩散模型(DMs)的权重和激活完全二值化。此方法从时间(TBS)和空间(SPD)角度优化扩散模型。实验显示,W1A1 BiDM在LSUN-Bedrooms 256×256上的LDM-4模型上取得22.74的FID分数,远超当前最先进方法的59.44分,存储节省28倍,效率提升52.7倍。
扩散模型因高质量生成能力受关注,但昂贵的浮点计算限制其应用。BiDM通过完全二值化权重和激活,结合TBS和SPD技术,克服了完全二值化的挑战。TBS通过可学习的激活二值量化器和跨时间步特征连接,SPD则引入全精度模型监督局部特征,引导二值模型优化。
实验表明,BiDM在CIFAR-10和LSUN-Bedrooms等数据集上,优于现有基线方法。在LSUN-Bedrooms数据集上,BiDM的FID降至22.74,存储节省28倍,效率提升52.7倍。
原文链接
本文链接:https://kx.umi6.com/article/11516.html
转载请注明文章出处
相关推荐
换一换
Meta 推出 Llama 3.2 1B / 3B 模型量化版:功耗更低、可适用更多轻量移动设备
2024-10-27 15:08:10
刚刚,OpenAI发布sCM提升50倍效率,扩散模型重大技术突破!
2024-10-25 10:40:17
CVPR 2026 生成式 AI 观察梳理:视觉模型开始重写默认设定
2026-04-30 11:18:37
扩散语言模型写代码!速度比自回归快10倍
2025-07-10 17:26:44
GAN已死?GAN万岁!布朗康奈尔新作爆火,一夜碾压扩散模型
2025-01-11 17:39:16
OpenAI宋飏被Meta挖跑了!扩散模型崛起关键人物,加入MSL再会师清华校友赵晟佳
2025-09-25 22:11:00
SU 哈佛亚马逊最新研究:量化能让大模型“恢复记忆”,删掉的隐私版权内容全回来了
2024-11-16 16:31:57
Scaling Law终结,量化也不管用,AI大佬都在审视这篇论文
2024-11-13 16:46:53
港大赵恒爽团队论文:让扩散模型既拿高分又不「作弊」丨CVPR 2026
2026-03-20 16:52:29
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
2024-07-29 16:05:53
扩散模型成最快深度思考!告别自回归每秒1009个tokens,英伟达微软都投了
2026-02-26 10:41:31
嚯!大语言扩散模型来了,何必只预测下一个token | 人大高瓴&蚂蚁
2025-02-18 13:14:03
从不确定到安全:如何安全控制复杂物理系统
2025-07-19 17:56:25
765 文章
651546 浏览
24小时热文
更多
-
2026-06-09 07:06:40 -
2026-06-09 00:54:40 -
2026-06-09 00:53:08