Hinton、Oriol Vinyals、Jeff Dean合著的《Distilling the Knowledge in a Neural Network》论文，首次提出知识蒸馏概念，大幅提升模型压缩效率。尽管由深度学习之父Hinton等三位大佬撰写，该论文仍遭NeurIPS 2014拒收，理由是缺乏创新和影响力。知识蒸馏技术让模型能在保持准确率的情况下大幅压缩参数，使Siri等应用得以部署。论文提出用软目标替代硬目标，通过调整温度参数T来优化训练。实验显示，知识蒸馏在多个领域均取得显著成果，成为行业标配。

标题：模型知识蒸馏新SOTA！告别传统散度蒸馏｜腾讯优图&中科大出品 用大模型“蒸馏”小模型有了新方法，该方法不仅能提高小模型性能，还能在不同类型和架构的大语言模型（LLMs）上达到新的SOTA。这项技术来自中科大和腾讯优图实验室，使用基于Sinkhorn距离的知识蒸馏方法，有效解决了传统散...

【端到端自动驾驶新突破】北京理工大学计算机学院在CVPR 2024上发表研究成果，推出“知识蒸馏”框架PlanKD，旨在提升端到端自动驾驶系统的性能，使其在保持较小体量的同时，性能提升50%-100%。这一创新方法解决了自动驾驶领域的一大难题：如何在不牺牲系统可靠性或增加成本的前提下，优化计算资源的利用。通过从大型Transformer架构模型中提炼关键知识并传授给小型模型，PlanKD显著提高了驾驶分数、路线完成度及降低了违章率，碰撞率和违章率分别下降了10%-60%不等。该方法不仅减少了推理时间，还在保持高性能的同时节省了资源，为自动驾驶领域的技术革新提供了有力支持。这项研究为资源有限的车端大模型部署提供了新的解决方案，标志着“知识蒸馏”方法在自动驾驶领域的首次成功应用。