何恺明新作：给扩散模型加正则化，无需预训练无需数据增强，超简单实现性能提升

扩散模型近年来备受关注，何恺明团队最新研究聚焦于如何将扩散模型与表征学习结合。他们提出了一种名为“Dispersive Loss”的正则化方法，旨在使扩散模型生成更自然真实的图片。

Dispersive Loss是一种即插即用的正则化技术，在标准去噪损失之外引入目标函数，对模型中间表示进行正则化。其灵感来源于对比学习的排斥效应，但无需正样本对，也不需修改模型结构，计算开销极低且与原有损失兼容。

研究团队从扩散模型的局限性、表征学习的启发以及现有方法的不足出发，设计了这一创新方案。Dispersive Loss通过鼓励中间表示在隐藏空间中分散，提高模型泛化能力。其公式简洁，无需额外样本对或复杂操作，可直接应用于模型中间层。

实验显示，Dispersive Loss在ImageNet上的多种模型中显著提升了生成质量，例如在SiT-B/2模型上，FID值从36.49降至32.45。与REPA方法相比，Dispersive Loss无需预训练或外部数据，生成效果仍具竞争力。此外，该方法适用于多步及单步扩散模型。

这项工作表明，Dispersive Loss不仅适用于图像生成，还可能扩展到图像识别等更多领域。论文已发布于arXiv: https://arxiv.org/abs/2506.09027v1。