标题:CVPR 2026:深度学习的「标准件」,正在被逐个拆掉
正文:
深度学习这座大楼,过去几年越盖越高、越盖越复杂。Transformer 是主楼,扩散模型和归一化流是附楼,浮点精度、归一化层和残差连接等被视为“标准件”。然而,这些标准件正被重新审视——它们真的是承重墙,还是只是装饰?
推理端的革新:精度不是必须的
BinaryAttention 挑战了注意力机制的浮点精度需求,提出仅用 1-bit 表示 Q 和 K 的符号即可完成计算。通过 XNOR 和 popcount 运算,它比传统方法快 2 倍以上,且在部分任务上超越全精度版本。SegQuant 则解决了量化策略需手工调参的问题,通过自动分析计算图分配量化配置,首次实现了跨架构通用的量化框架。
训练目标的翻案:去噪并非最优解
JiT 质疑扩散模型“预测噪声”的训练目标,指出直接预测干净图像更符合几何本质。实验表明,极简设计的 JiT 在高分辨率任务中表现优异,打破了“先压缩再预测噪声”的传统范式。
架构层的松动:归一化与可逆性可以不要
BiFlow 放弃了归一化流的“精确可逆”约束,通过双向独立学习实现并行解码,采样速度提升两个数量级。Derf 则用一个基于误差函数的逐点非线性函数替代归一化层,在多个领域全面超越 LayerNorm 和 RMSNorm,揭示归一化层可能只是提供了一种泛化性尚可的稳定手段。
结语:哪些是承重墙,哪些只是隔断?
这五篇论文从推理端到训练目标,再到架构层,逐一拆解深度学习的“标准件”。结果表明,许多我们认为不可或缺的设计,实际上可以简化甚至移除。房子不仅没塌,反而更加透亮。深度学习的未来或许不再是无止境地堆砌规模,而是回归本质,找到真正必要的核心组件。
原文链接
本文链接:https://kx.umi6.com/article/36314.html
转载请注明文章出处
相关推荐
换一换
AI首先替代的不是蓝领白领工作?
2024-06-12 17:28:49
Transformer作者:DeepSeek才有搞头,OpenAI指望不上了
2025-09-12 11:09:05
Google AI编年史
2025-11-04 16:20:36
GPT-5与Transformer共同发明人Lukasz Kaiser重磅加盟,2025 全球机器学习技术大会全日程官宣!
2025-09-18 16:55:56
中国AI新突破!马斯克点赞Kimi新架构 Kimi幽默回应:你的火箭也不错
2026-03-17 13:33:34
比英伟达快20倍!哈佛辍学生发布大模型芯片 属于AI的“矿机革命”要来了?
2024-06-27 18:29:52
揭秘注意力机制真正起源!10年前3项研究几乎同时独立提出,背后故事细节被Karpathy晒邮件公开了
2024-12-04 16:39:33
13年后,AlexNet源代码终于公开:带注释的原版
2025-03-21 15:29:15
全球首款 Transformer 专用 AI 芯片 Sohu 登场:每秒可处理 50 万个 tokens,英伟达 H100 的 20 倍
2024-06-26 12:30:19
5090跑《黑神话》飙到200+帧,英伟达DLSS也用上Transformer了
2025-01-17 17:20:30
谷歌全网扒1000亿图像文本对,ViT大佬坐镇:数据Scaling潜力依旧
2025-02-13 18:12:26
拯救Transformer推理能力,DeepMind新研究TransNAR:给模型嵌入“算法推理大脑”
2024-06-17 17:06:21
张亚勤:Transformer五年内会被逐步重构,15-20年内实现AGI | 清华AIR无锡创新中心成立
2024-06-08 15:19:23
784 文章
1038633 浏览
24小时热文
更多
-
2026-10-22 10:39:20 -
2026-10-22 10:37:52 -
2026-10-22 09:32:38