2025年10月，OpenAI研究副总裁Jerry Tworek在播客中首次详解GPT-5的思考机制，称其更像o3.1的迭代。他指出，强化学习（RL）与预训练结合是实现通用人工智能（AGI）的关键，并强调模型推理过程类似人类思考，需平衡思考时长与用户体验。OpenAI通过o1到o3的演进，逐步提升模型能力，如工具使用和复杂任务解决。Jerry还分享了加入OpenAI的经历及公司独特的工作结构，融合自上而下与自下而上的模式推动高效创新。此外，他对DeepSeek的GRPO算法表示认可，认为其推动了美国RL研究的发展。未来，OpenAI将继续优化RL与预训练结合路径，探索更自主、更智能的AI模型。

标题：对话Kimi付强：模型应与人类共同演化，追逐AGI需突破传统思维 在今年AI创造者嘉年华上，硅星人创始人骆轶航与月之暗面（Kimi）技术副总裁付强围绕Kimi的K2模型及其对AGI的探索展开了一场深度对话。 预训练为何重要？ 骆轶航提到，Kimi从去年开始重新聚焦预训练，直到今年6月发...

手术刀式去噪突破LLM能力上限，模型性能提升7.2% | 中科院＆阿里 中科院计算所与阿里Qwen团队联合提出RefineX框架，通过程序化编辑任务实现大规模、精准预训练数据精炼。其核心是将专家优化结果蒸馏为基于删除操作的极简程序，高效可靠地优化语料，同时保留原始文本多样性和自然性。 预训练数据质量...

李飞飞团队提出架构设计新思路！无需从头训练，直接“嫁接”预训练模型关键组件 预训练模型能否作为探索新架构设计的“底座”？最新答案是：yes！传统上，从头训练模型是检验架构有效性的重要方式，但成本高昂。为此，李飞飞团队提出“嫁接”新思路，将预训练模型作为基础，通过修改其组件来研究新架构，类似于软件...

标题：MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B 正文： “预测下一个token”——这一LLM核心训练机制正被强化学习颠覆。微软亚洲研究院（MSRA）联合清华大学、北京大学提出全新预训练范式RPT（强化预训练），首次将强化学习深度融入预训练阶段，让模型在预测每个token...

《科创板日报》10日消息，阿里巴巴通义实验室近日发布并开源了名为MaskSearch的预训练框架。该框架通过结合‘主动搜索’与‘多步推理’技术，使AI具备更强的复杂问题处理能力，能够提供更精准和智能的回答。这一技术突破标志着AI在自然语言处理领域迈出了重要一步，为开发者提供了新的工具选择。MaskSearch的开源将进一步推动相关领域的技术创新与应用落地。

阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升 阿里通义实验室发布全新通用预训练框架MaskSearch，大幅提升大模型“推理+搜索”能力。在开放域问答任务中，MaskSearch表现超越基线方法，小模型甚至媲美大模型。 通义实验室的搜索团队此前推出Z...

全新预训练数据筛选方案发布，数据效率提升十倍！仅需fastText评分器，由港科大与vivo联合推出。

8张GPU训出近SOTA模型，超低成本图像生成预训练方案开源 仅需8张GPU，就能实现近SOTA的高质量图像生成效果。模型名为LightGen，由港科大Harry Yang团队联合Everlyn AI等机构打造，借助知识蒸馏（KD）和直接偏好优化（DPO）策略，大幅降低训练成本。 LightGe...

在海淀区的零一万物办公区内，员工们依旧忙碌，似乎未受外界舆论影响。李开复接受了虎嗅的一对一采访，分享了他的心路历程和公司决策。 李开复表示，零一万物的核心团队自创立以来基本未变，包括谷雪梅、马杰等人。决策过程基于共识，每个重要决策都通过坦诚的全员会议达成一致。 谈及预训练，李开复透露，公司在2024...