标题：上交大冷静文：模型发展需芯片与系统协同 近期，上海交通大学与魔形智能联合研究团队在 HPCA 2025 会议上发表论文《VQ-LLM: High-performance Code Generation for Vector Quantization Augmented LLM Infere...

Hinton、Oriol Vinyals、Jeff Dean合著的《Distilling the Knowledge in a Neural Network》论文，首次提出知识蒸馏概念，大幅提升模型压缩效率。尽管由深度学习之父Hinton等三位大佬撰写，该论文仍遭NeurIPS 2014拒收，理由是缺乏创新和影响力。知识蒸馏技术让模型能在保持准确率的情况下大幅压缩参数，使Siri等应用得以部署。论文提出用软目标替代硬目标，通过调整温度参数T来优化训练。实验显示，知识蒸馏在多个领域均取得显著成果，成为行业标配。

单卡搞定Llama 3.1 405B，让大模型轻松瘦身！超强压缩工具包来了 近期，Llama-3.1登顶开源领域，其405B版本模型对资源提出了更高要求，高达900多GB的内存需求。为应对这一挑战，北航、商汤、南洋理工等团队联手研发出大模型压缩工具与基准LLMC，使一张80G A100显卡就能完成L...