Hinton、Oriol Vinyals、Jeff Dean合著的《Distilling the Knowledge in a Neural Network》论文，首次提出知识蒸馏概念，大幅提升模型压缩效率。尽管由深度学习之父Hinton等三位大佬撰写，该论文仍遭NeurIPS 2014拒收，理由是缺乏创新和影响力。知识蒸馏技术让模型能在保持准确率的情况下大幅压缩参数，使Siri等应用得以部署。论文提出用软目标替代硬目标，通过调整温度参数T来优化训练。实验显示，知识蒸馏在多个领域均取得显著成果，成为行业标配。