近日，由Transformer作者之一Llion Jones创立的Sakana AI推出了一种新方法，通过让教师模型模仿人类教师进行‘启发式’教学，显著提升了学生模型的推理能力。该方法中，教师模型不再从头解决问题，而是根据已知答案提供清晰的逐步解释。实验表明，7B规模的教师模型在训练学生模型方面优于671B的DeepSeek-R1，并能有效训练出4倍规模的学生模型。这种方法不仅提高了效率，还降低了成本，使小型模型也能承担教学任务。

标题：不用千亿参数也能合成高质量数据！这个开源框架让小模型“组团逆袭”，7B性能直追72B 无需蒸馏任何大规模语言模型，小模型也能自给自足、联合提升？上海人工智能实验室与中国人民大学联合提出的GRA框架（Generator–Reviewer–Adjudicator）正是这样一种新范式。该方法以“...

2025年，AI竞赛更加激烈。中国高性能AI模型数量和质量正挑战美国的领先地位，头部模型优势缩小。根据斯坦福大学Human Centered AI研究所发布的《2025年人工智能指数报告》，AI发展迅速且无一家独大。2024年初，顶级模型比第十名高12%，2025年初差距缩小至5%。报告指出，小型化AI模型在2024年取得突破，更小、更简洁的模型展现强大能力。中美在模型质量上差距缩小，中国2023年MMLU得分落后美国20个百分点，2024年底仅差0.3个百分点。此外，开放权重模型数量激增，降低了开发门槛。尽管如此，生成式AI仍面临偏见、幻觉及生成不实信息等问题。

2月18日，秘塔科技宣布其秘塔AI搜索上线新研究模式——先想后搜。该模式采用‘小模型+大模型’协同架构，能高效完成资料搜索与分析。新模式下，秘塔能在2-3分钟内处理数百个网页的信息。例如，针对《流浪地球》中的行星发动机成本问题，模型自动制定研究步骤并参考相关文献得出结论。秘塔表示，此模式目前适用于浅度研究，未来还将加入更多功能。

标题：别再被DeepSeek R1本地部署割韭菜，我帮你把坑都踩遍了 买它！趁着过年有空学起来。 春节期间，DeepSeek搅动了全球市场。智能键盘日销近百万，博主课程日入五万，仿冒网站涌现2650个，DeepSeek官方紧急声明。 用户体验不佳，服务器繁忙。开源策略催生本地部署教程，成为新的AI秘...

1月20日，佛山市AI小模型产业联合体成立大会在佛山召开。会议由模界·企业AI应用商城主办，吸引了超过150家企事业单位参与。此次大会旨在构建行业交流平台，促进AI小模型的应用与发展，推动供需合作与资源整合，助力佛山打造AI小模型应用生态圈。

Hugging Face 发布报告，提出“扩展测试时计算”方法，通过增加运算时间使低成本小模型能产生与大模型相媲美的结果。该方法利用10亿参数的Llama模型进行数学测试，在某些情况下超越了70亿参数的大模型。此举为小型企业和个人开发者提供了降低AI成本的新途径。谷歌DeepMind亦有类似研究，认为可动态分配资源并设置验证器提高模型准确性。此技术有望帮助企业以较少资源部署精准语言模型。

【财联社10月15日讯】人工智能初创企业OpenAI迎来新AI大将，前微软副总裁塞巴斯蒂安·布贝克加入，其专长在于超小型语言和视觉模型，即“小模型”。布贝克参与了微软Phi模型的研究，该模型旨在让人工智能应用能部署于边缘设备，速度快、私密且离线运行。当前市场趋势显示，小模型在某些领域已超越OpenA...

苹果在小模型领域掀起风暴，发布了性能强大的DCLM（包含70亿参数版本）并实现了全开源，超越了Mistral-7B的性能，且性能接近Llama 3、Gemma。DCLM的开源模式，与以往科技巨头的闭源或部分开源策略形成鲜明对比，赢得了用户好评。DCLM还预告了后续将上线模型中间检查点和优化器状态。 ...

《小模型崛起：浏览器里的SOTA与合成数据的未来》 近日，抱抱脸发布了其小模型系列的最新成果，展示了在2亿、5亿和20亿级别的胜绩。这一成果由其首席科学家Thomas Wolf亲自揭秘，他指出，小模型的成功秘诀在于对数据的严苛筛选与针对性训练。此消息一出，立刻在业界引发广泛关注。 Wolf强调，...