被DeepSeek带火的知识蒸馏开山之作曾被拒：诺奖得主坐镇都没用

2025-02-07 18:04:58

发布在

快讯

阅读：223

Hinton、Oriol Vinyals、Jeff Dean合著的《Distilling the Knowledge in a Neural Network》论文，首次提出知识蒸馏概念，大幅提升模型压缩效率。尽管由深度学习之父Hinton等三位大佬撰写，该论文仍遭NeurIPS 2014拒收，理由是缺乏创新和影响力。知识蒸馏技术让模型能在保持准确率的情况下大幅压缩参数，使Siri等应用得以部署。论文提出用软目标替代硬目标，通过调整温度参数T来优化训练。实验显示，知识蒸馏在多个领域均取得显著成果，成为行业标配。

原文链接

本文链接：https://kx.umi6.com/article/12832.html

转载请注明文章出处

Hinton