CVPR满分论文：2080Ti搞定数据蒸馏，GPU仅需2G，出自上交大“最年轻博导”团队

只要一块6年前的2080Ti，就能完成大模型数据蒸馏？来自上交大EPIC实验室等机构的研究提出一种新方法——NFCM，显存占用仅1/300，速度提升20倍，相关论文获CVPR满分。

NCFM引入辅助神经网络，将数据集蒸馏转为minmax优化问题。在多个基准数据集上，NCFM展现高性能和可扩展性，仅需2GB GPU内存即可实现CIFAR数据集无损蒸馏。

核心是引入NCFD，通过交替优化合成数据和采样网络，提升合成数据质量和NCFD敏感性。NCFM在特征提取、频率参数采样、CF计算、NCFD度量及minmax优化等方面实现创新。

NCFM在CIFAR-10、CIFAR-100、ImageNet等多个数据集上超越现有方法，性能提升显著。同时，NCFM大幅节省资源，如在CIFAR-100上，每轮迭代时间比TESLA快29.4倍，GPU内存消耗仅为1/23.3。

本文第一作者王少博，现为上交大EPIC实验室博士生，导师张林峰，年仅27岁即成为博导。张林峰及其团队成员共同完成此研究。