2025年12月，英伟达4B小模型NVARC在ARC-AGI 2竞赛中以27.64%的成绩击败GPT-5 Pro（18.3%），登顶榜首。其单任务成本仅20美分，约为GPT-5 Pro的1/36。NVARC采用零预训练深度学习方法，规避了领域偏见和数据依赖问题，并通过大规模合成高质量数据优化模型，将昂贵计算移至离线完成。团队利用改进版ARChitects方法和LoRA微调技术，使模型快速适应全新规则的任务。尽管参数量小，但其性能在特定领域不逊色于大模型，且具备成本、速度和适配性优势。这一突破展示了小模型在特定任务中的潜力，为AI开发提供了新思路。

2025年12月，OpenAI首席研究员Mark Chen在访谈中爆料Meta为挖角人才竟由扎克伯格亲自送汤，引发了一场‘送汤大战’。Mark透露，尽管Meta试图挖角，但多数OpenAI核心成员并未流失，并对团队凝聚力充满信心。他强调OpenAI本质上仍是一家纯AI研究公司，内部已有性能媲美Gemini 3的模型，且预训练技术取得重大突破。Mark还提到，过去半年专注预训练，未来将推动算力与数据效率的进一步优化。此外，OpenAI正加速科学领域应用，目标一年内让AI成为研究助手，两年半内实现端到端科研自动化。

2025年12月2日，据爆料，OpenAI的GPT-5实际基于GPT-4o开发，预训练技术两年半未突破，导致性能不及预期。自2024年5月GPT-4o发布后，OpenAI大规模预训练屡屡受挫，而谷歌凭借TPUv7在预训练领域取得优势，威胁英伟达CUDA生态。GPT-5被指更像GPT-4o的优化版，而非颠覆性升级，其训练算力甚至少于GPT-4.5。OpenAI转而聚焦推理范式与强化学习微调，但内部正研发代号“Shallotpeat”的新模型以修复预训练问题。与此同时，谷歌Gemini 3强势崛起，OpenAI计划圣诞前夕发布Image Gen v2等新模型反击，AI领域竞争白热化。

2025年10月，OpenAI研究副总裁Jerry Tworek在播客中首次详解GPT-5的思考机制，称其更像o3.1的迭代。他指出，强化学习（RL）与预训练结合是实现通用人工智能（AGI）的关键，并强调模型推理过程类似人类思考，需平衡思考时长与用户体验。OpenAI通过o1到o3的演进，逐步提升模型能力，如工具使用和复杂任务解决。Jerry还分享了加入OpenAI的经历及公司独特的工作结构，融合自上而下与自下而上的模式推动高效创新。此外，他对DeepSeek的GRPO算法表示认可，认为其推动了美国RL研究的发展。未来，OpenAI将继续优化RL与预训练结合路径，探索更自主、更智能的AI模型。

标题：对话Kimi付强：模型应与人类共同演化，追逐AGI需突破传统思维 在今年AI创造者嘉年华上，硅星人创始人骆轶航与月之暗面（Kimi）技术副总裁付强围绕Kimi的K2模型及其对AGI的探索展开了一场深度对话。 预训练为何重要？ 骆轶航提到，Kimi从去年开始重新聚焦预训练，直到今年6月发...

手术刀式去噪突破LLM能力上限，模型性能提升7.2% | 中科院＆阿里 中科院计算所与阿里Qwen团队联合提出RefineX框架，通过程序化编辑任务实现大规模、精准预训练数据精炼。其核心是将专家优化结果蒸馏为基于删除操作的极简程序，高效可靠地优化语料，同时保留原始文本多样性和自然性。 预训练数据质量...

李飞飞团队提出架构设计新思路！无需从头训练，直接“嫁接”预训练模型关键组件 预训练模型能否作为探索新架构设计的“底座”？最新答案是：yes！传统上，从头训练模型是检验架构有效性的重要方式，但成本高昂。为此，李飞飞团队提出“嫁接”新思路，将预训练模型作为基础，通过修改其组件来研究新架构，类似于软件...

标题：MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B 正文： “预测下一个token”——这一LLM核心训练机制正被强化学习颠覆。微软亚洲研究院（MSRA）联合清华大学、北京大学提出全新预训练范式RPT（强化预训练），首次将强化学习深度融入预训练阶段，让模型在预测每个token...

《科创板日报》10日消息，阿里巴巴通义实验室近日发布并开源了名为MaskSearch的预训练框架。该框架通过结合‘主动搜索’与‘多步推理’技术，使AI具备更强的复杂问题处理能力，能够提供更精准和智能的回答。这一技术突破标志着AI在自然语言处理领域迈出了重要一步，为开发者提供了新的工具选择。MaskSearch的开源将进一步推动相关领域的技术创新与应用落地。

阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升 阿里通义实验室发布全新通用预训练框架MaskSearch，大幅提升大模型“推理+搜索”能力。在开放域问答任务中，MaskSearch表现超越基线方法，小模型甚至媲美大模型。 通义实验室的搜索团队此前推出Z...