2025年12月2日，据爆料，OpenAI的GPT-5实际基于GPT-4o开发，预训练技术两年半未突破，导致性能不及预期。自2024年5月GPT-4o发布后，OpenAI大规模预训练屡屡受挫，而谷歌凭借TPUv7在预训练领域取得优势，威胁英伟达CUDA生态。GPT-5被指更像GPT-4o的优化版，而非颠覆性升级，其训练算力甚至少于GPT-4.5。OpenAI转而聚焦推理范式与强化学习微调，但内部正研发代号“Shallotpeat”的新模型以修复预训练问题。与此同时，谷歌Gemini 3强势崛起，OpenAI计划圣诞前夕发布Image Gen v2等新模型反击，AI领域竞争白热化。

2025年10月，OpenAI研究副总裁Jerry Tworek在播客中首次详解GPT-5的思考机制，称其更像o3.1的迭代。他指出，强化学习（RL）与预训练结合是实现通用人工智能（AGI）的关键，并强调模型推理过程类似人类思考，需平衡思考时长与用户体验。OpenAI通过o1到o3的演进，逐步提升模型能力，如工具使用和复杂任务解决。Jerry还分享了加入OpenAI的经历及公司独特的工作结构，融合自上而下与自下而上的模式推动高效创新。此外，他对DeepSeek的GRPO算法表示认可，认为其推动了美国RL研究的发展。未来，OpenAI将继续优化RL与预训练结合路径，探索更自主、更智能的AI模型。

标题：对话Kimi付强：模型应与人类共同演化，追逐AGI需突破传统思维 在今年AI创造者嘉年华上，硅星人创始人骆轶航与月之暗面（Kimi）技术副总裁付强围绕Kimi的K2模型及其对AGI的探索展开了一场深度对话。 预训练为何重要？ 骆轶航提到，Kimi从去年开始重新聚焦预训练，直到今年6月发...

全新预训练数据筛选方案发布，数据效率提升十倍！仅需fastText评分器，由港科大与vivo联合推出。

8张GPU训出近SOTA模型，超低成本图像生成预训练方案开源 仅需8张GPU，就能实现近SOTA的高质量图像生成效果。模型名为LightGen，由港科大Harry Yang团队联合Everlyn AI等机构打造，借助知识蒸馏（KD）和直接偏好优化（DPO）策略，大幅降低训练成本。 LightGe...

在海淀区的零一万物办公区内，员工们依旧忙碌，似乎未受外界舆论影响。李开复接受了虎嗅的一对一采访，分享了他的心路历程和公司决策。 李开复表示，零一万物的核心团队自创立以来基本未变，包括谷雪梅、马杰等人。决策过程基于共识，每个重要决策都通过坦诚的全员会议达成一致。 谈及预训练，李开复透露，公司在2024...

马斯克宣布Grok 3即将推出，已完成预训练，计算量比Grok 2高10倍。xAI公司由马斯克去年创立，致力于推动AI边界拓展。去年12月14日，Grok-2模型免费开放给X平台用户。xAI在5月获60亿美元融资，加速追赶OpenAI和Anthropic。Grok 3将提升X平台搜索功能、账户简介优化、帖子深度分析及智能回复等服务。

2024年，大模型创业公司形成了“6+2”的格局，包括智谱、MiniMax、百川智能、月之暗面、阶跃星辰与零一万物，以及深度求索与面壁智能。近期，有两家小虎表现不佳，但整体融资规模存在差异。幻方量化旗下的深度求索在多项评测中超越阿里与Meta的模型，引发关注。大模型六小虎在技术路线上分化，智谱、MiniMax、阶跃星辰等各有侧重，而王小川领导的百川智能聚焦医疗领域。商业化方面，六小虎普遍布局B端与C端，但面临定制化难题。月之暗面在2024年完成10亿美元融资，但也遭遇了内部管理和人才流失问题。字节跳动在AI领域迅速崛起，引发行业竞争加剧。

标题：OpenAI附议Ilya预训练终结！“但Scaling Law还没死” 在Ilya提出“预训练即将终结”的观点后，“Scaling Law”成为热议话题。在最近的NeurIPS会议上，OpenAI的大神Noam Brown表示，o1代表一种新的以推理计算为特点的Scaling方法。 Noam ...

在NeurIPS 2024会议上，OpenAI联合创始人Ilya Sutskever发表了关于AI未来发展的演讲。Sutskever表示，预训练时代即将结束，因为数据的增长已经接近瓶颈，尽管计算能力和算法在进步。他回顾了过去十年深度学习的发展历程，强调了自回归模型、大型神经网络和大数据集的重要性。此外，Sutskever预测未来将是超级智能的时代，AI将具备代理能力、推理能力、理解和自我意识。他还提到了Agent系统和合成数据作为突破预训练瓶颈的关键，认为AI将从执行任务的工具转变为具有独立智能的存在。