Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型 克雷西 | 发自凹非寺 量子位 | 公众号 QbitAI Qwen3技术报告新鲜出炉，8款模型背后的关键技术被揭晓！ - 采用双模式架构，一个模型同时支持推理和非推理任务，自动切换。 - 训练和微调分段式策略，逐步构...

苹果发现模型蒸馏Scaling Law！教师模型并非越强越好 克雷西 发自 凹非寺 | 量子位 | 公众号 QbitAI 苹果最新研究揭示了大模型蒸馏的Scaling Law，即学生模型和教师模型能力间的幂律关系。研究发现，教师模型并非越强越好，过强的教师模型可能导致学生模型性能恶化。 研究显示，学...

OpenAI和Claude母公司Anthropic指控DeepSeek涉嫌侵犯知识产权，指其利用OpenAI模型进行训练。OpenAI发现DeepSeek“蒸馏”其模型的证据，即用大模型输出提高小模型性能。微软也开始调查DeepSeek是否使用OpenAI的API。纽约大学教授马库斯和知名技术媒体404 Media创始人Jason对此表示讽刺。Anthropic创始人Dario Amodei认为DeepSeek的模型水平相当于他们7-10个月前的水平，但成本更低。微软随后在其AI平台上接入了DeepSeek模型，引发网友讨论。OpenAI自身也因违规使用数据训练模型而备受争议。

1月20日，幻方量化旗下AI公司深度求索（DeepSeek）发布了DeepSeek-R1模型，并同步开源模型权重。该模型在数学、代码、自然语言推理等任务上性能与OpenAI o1正式版相当。DeepSeek称，蒸馏小模型超越OpenAI o1-mini，开源了两个660B模型及6个蒸馏小模型。DeepSeek-R1 API服务定价为每百万输入tokens 1元（缓存命中）/4元（缓存未命中），每百万输出tokens 16元。此外，DeepSeek统一采用MIT License，明确支持用户进行模型蒸馏。