标题：纯蒸馏模型 SOTA 突破！训练成本降低50倍，数据已开源 a-m-team 发布新论文，介绍下一代推理模型的小进展。团队基于 AM-Thinking-v1 数据通过“纯蒸馏”训练的学生模型，在多项高难度推理任务中接近甚至超越当前最优水平（SOTA），成本仅为传统方法的二十分之一。 论文《...

Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型 克雷西 | 发自凹非寺 量子位 | 公众号 QbitAI Qwen3技术报告新鲜出炉，8款模型背后的关键技术被揭晓！ - 采用双模式架构，一个模型同时支持推理和非推理任务，自动切换。 - 训练和微调分段式策略，逐步构...

CVPR满分论文：2080Ti搞定数据蒸馏，GPU仅需2G，出自上交大“最年轻博导”团队 只要一块6年前的2080Ti，就能完成大模型数据蒸馏？来自上交大EPIC实验室等机构的研究提出一种新方法——NFCM，显存占用仅1/300，速度提升20倍，相关论文获CVPR满分。 NCFM引入辅助神经网络，将...

英特尔于2月14日发布了2025.0版本的OpenVINO工具套件，新增对图像生成模型FLUX.1的支持，可在CPU和GPU上通过GenAI流水线运行。该版本提升了生成式AI模型的性能，特别是针对图像生成模型进行了深度优化。新版本还增加了Image2Image和Inpainting功能，增强了结果的可控性和局部内容再生能力。此外，OpenVINO 2025.0版本首次实现了NPU加速支持，开发者可通过PyTorch的torch.compile接口调用英特尔NPU算力。英特尔表示正在努力支持更多最新模型，包括Mistral-7B-Instruct-v0.2和Qwen2.5。

苹果发现模型蒸馏Scaling Law！教师模型并非越强越好 克雷西 发自 凹非寺 | 量子位 | 公众号 QbitAI 苹果最新研究揭示了大模型蒸馏的Scaling Law，即学生模型和教师模型能力间的幂律关系。研究发现，教师模型并非越强越好，过强的教师模型可能导致学生模型性能恶化。 研究显示，学...

2025年春节期间，AI初创公司DeepSeek发布的模型R1在全球范围内引发轰动，下载量突破2000万，用户数超过1亿。然而，DeepSeek因“盗窃”OpenAI数据的指控陷入争议。DeepSeek采用蒸馏技术，降低了训练成本，但遭质疑。蒸馏技术虽非抄袭，但可能导致模型同质化和幻觉问题。OpenAI指控DeepSeek违反模型使用条约，但缺乏具体证据。DeepSeek选择MIT开源协议，回应质疑。AI领域内，蒸馏技术并非罕见，而是近十年来的标准做法。DeepSeek的爆火带动了AI应用创新热潮，市场对此仍抱有期待。

标题：别再被DeepSeek R1本地部署割韭菜，我帮你把坑都踩遍了 买它！趁着过年有空学起来。 春节期间，DeepSeek搅动了全球市场。智能键盘日销近百万，博主课程日入五万，仿冒网站涌现2650个，DeepSeek官方紧急声明。 用户体验不佳，服务器繁忙。开源策略催生本地部署教程，成为新的AI秘...

Hinton、Oriol Vinyals、Jeff Dean合著的《Distilling the Knowledge in a Neural Network》论文，首次提出知识蒸馏概念，大幅提升模型压缩效率。尽管由深度学习之父Hinton等三位大佬撰写，该论文仍遭NeurIPS 2014拒收，理由是缺乏创新和影响力。知识蒸馏技术让模型能在保持准确率的情况下大幅压缩参数，使Siri等应用得以部署。论文提出用软目标替代硬目标，通过调整温度参数T来优化训练。实验显示，知识蒸馏在多个领域均取得显著成果，成为行业标配。

近日，“AI教母”李飞飞团队以不到50美元的云计算费用训练出新的人工智能推理模型s1。该模型在数学和编码能力测试中的表现与OpenAI的o1和DeepSeek的R1等顶尖模型相似。s1模型是通过蒸馏技术从谷歌的Gemini 2.0 Flash Thinking Experimental模型提炼而来。蒸馏技术是一种模型压缩方法，能使学生模型继承教师模型的知识，同时降低计算资源需求。李飞飞团队的成功再次证明了人工智能领域的激烈竞争，仅一个月前，DeepSeek团队已将OpenAI的训练费用降至其三十分之一。李飞飞被誉为“AI教母”，是斯坦福大学终身教授，曾创建全球最大的图像识别数据库ImageNet。

标题：成本不到150元！李飞飞等26分钟训出个推理模型，媲美o1和R1，秘诀：用蒸馏 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 成本不到150元，训练出一个媲美DeepSeek-R1和OpenAI o1的推理模型？！这不是洋葱新闻，而是AI教母李飞飞、斯坦福大学、华盛顿大学、艾伦人工智能...