北航、ETH等机构的研究人员提出了一种名为BiDM的新方法,首次将扩散模型(DMs)的权重和激活完全二值化。此方法从时间(TBS)和空间(SPD)角度优化扩散模型。实验显示,W1A1 BiDM在LSUN-Bedrooms 256×256上的LDM-4模型上取得22.74的FID分数,远超当前最先进方法的59.44分,存储节省28倍,效率提升52.7倍。
扩散模型因高质量生成能力受关注,但昂贵的浮点计算限制其应用。BiDM通过完全二值化权重和激活,结合TBS和SPD技术,克服了完全二值化的挑战。TBS通过可学习的激活二值量化器和跨时间步特征连接,SPD则引入全精度模型监督局部特征,引导二值模型优化。
实验表明,BiDM在CIFAR-10和LSUN-Bedrooms等数据集上,优于现有基线方法。在LSUN-Bedrooms数据集上,BiDM的FID降至22.74,存储节省28倍,效率提升52.7倍。
原文链接
本文链接:https://kx.umi6.com/article/11516.html
转载请注明文章出处
相关推荐
换一换
寡姐带货国风 Polo 衫、马斯克穿牛仔走红毯:虚拟试衣新框架,只需两张图 30 秒即生成
2024-07-30 22:12:57
从不确定到安全:如何安全控制复杂物理系统
2025-07-19 17:56:25
OpenAI宋飏被Meta挖跑了!扩散模型崛起关键人物,加入MSL再会师清华校友赵晟佳
2025-09-25 22:11:00
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
2024-07-29 16:05:53
12秒生成1万token!谷歌推出文本「扩散模型」Gemini Diffusion,研究员:演示都得降速看
2025-05-22 15:30:59
谢赛宁新作:VAE退役,RAE当立
2025-10-14 17:20:36
大模型应用新战场:揭秘终端侧AI竞争关键|智在终端
2024-09-04 16:29:42
量化能让大模型“恢复记忆”,删掉的隐私版权内容全回来了
2024-11-16 20:37:04
DiT突遭怒喷,谢赛宁淡定回应
2025-08-20 17:19:58
图灵奖得主加持,蒙特卡洛树搜索×扩散模型杀回规划赛道|ICML 2025 Spotlight
2025-08-01 14:00:21
材料设计重大突破!微软发布创新大模型,准确率提升10倍!
2025-01-17 16:19:05
物理学家靠生物揭开AI创造力来源:起因竟是“技术缺陷”
2025-07-04 18:47:36
今日最热论文:Scaling Law终结,量化也不管用,AI大佬齐刷刷附议
2024-11-13 15:39:06
790 文章
959182 浏览
24小时热文
更多
-
2026-09-07 10:44:22 -
2026-09-06 21:14:00 -
2026-09-06 20:12:34