标题:CVPR 2026:深度学习的「标准件」,正在被逐个拆掉
正文:
深度学习这座大楼,过去几年越盖越高、越盖越复杂。Transformer 是主楼,扩散模型和归一化流是附楼,浮点精度、归一化层和残差连接等被视为“标准件”。然而,这些标准件正被重新审视——它们真的是承重墙,还是只是装饰?
推理端的革新:精度不是必须的
BinaryAttention 挑战了注意力机制的浮点精度需求,提出仅用 1-bit 表示 Q 和 K 的符号即可完成计算。通过 XNOR 和 popcount 运算,它比传统方法快 2 倍以上,且在部分任务上超越全精度版本。SegQuant 则解决了量化策略需手工调参的问题,通过自动分析计算图分配量化配置,首次实现了跨架构通用的量化框架。
训练目标的翻案:去噪并非最优解
JiT 质疑扩散模型“预测噪声”的训练目标,指出直接预测干净图像更符合几何本质。实验表明,极简设计的 JiT 在高分辨率任务中表现优异,打破了“先压缩再预测噪声”的传统范式。
架构层的松动:归一化与可逆性可以不要
BiFlow 放弃了归一化流的“精确可逆”约束,通过双向独立学习实现并行解码,采样速度提升两个数量级。Derf 则用一个基于误差函数的逐点非线性函数替代归一化层,在多个领域全面超越 LayerNorm 和 RMSNorm,揭示归一化层可能只是提供了一种泛化性尚可的稳定手段。
结语:哪些是承重墙,哪些只是隔断?
这五篇论文从推理端到训练目标,再到架构层,逐一拆解深度学习的“标准件”。结果表明,许多我们认为不可或缺的设计,实际上可以简化甚至移除。房子不仅没塌,反而更加透亮。深度学习的未来或许不再是无止境地堆砌规模,而是回归本质,找到真正必要的核心组件。
原文链接
本文链接:https://kx.umi6.com/article/36314.html
转载请注明文章出处
相关推荐
换一换
AI 卷翻科研:DeepMind 36 页报告称全球实验室被「AI 科学家」指数级接管
2024-11-27 15:55:47
彩云小梦V3.5上线!首个基于DCFormer架构通用大模型发布
2024-11-13 18:44:50
AI狂潮之下,谁是那个唯一「真神」?
2024-08-19 18:15:56
8 年首次大突破:谷歌祭出 Transformer 杀手,掌门人划出 AGI 死线
2025-12-07 15:34:40
大模型玩不好数独?!Transformer作者初创公司公布排行榜:o3 Mini High“变异数独”正确率仅2.9%
2025-05-28 16:36:56
苹果AI选Mamba:Agent任务比Transformer更好
2025-10-21 14:27:27
5090跑《黑神话》飙到200+帧,英伟达DLSS也用上Transformer了
2025-01-17 17:20:30
GPT-5与Transformer共同发明人Lukasz Kaiser重磅加盟,2025 全球机器学习技术大会全日程官宣!
2025-09-18 16:55:56
多亏Transformer,Mamba更强了!仅用1%计算量达新SOTA
2024-08-22 17:19:58
谷歌全网扒1000亿图像文本对,ViT大佬坐镇:数据Scaling潜力依旧
2025-02-13 18:12:26
AI首先替代的不是蓝领白领工作?
2024-06-12 17:28:49
彩云科技DCFormer模型架构发布,效率是Transformer的两倍!
2024-06-07 18:02:52
软件已死,数据永生?
2024-10-29 21:41:35
755 文章
812670 浏览
24小时热文
更多
-
2026-07-24 00:15:46 -
2026-07-24 00:14:08 -
2026-07-24 00:12:30