李飞飞团队提出架构设计新思路！无需从头训练，直接“嫁接”预训练模型关键组件 预训练模型能否作为探索新架构设计的“底座”？最新答案是：yes！传统上，从头训练模型是检验架构有效性的重要方式，但成本高昂。为此，李飞飞团队提出“嫁接”新思路，将预训练模型作为基础，通过修改其组件来研究新架构，类似于软件...

标题：MSRA清北推出强化预训练！取代传统自监督，14B模型媲美32B 正文： “预测下一个token”——这一LLM核心训练机制正被强化学习颠覆。微软亚洲研究院（MSRA）联合清华大学、北京大学提出全新预训练范式RPT（强化预训练），首次将强化学习深度融入预训练阶段，让模型在预测每个token...

《科创板日报》10日消息，阿里巴巴通义实验室近日发布并开源了名为MaskSearch的预训练框架。该框架通过结合‘主动搜索’与‘多步推理’技术，使AI具备更强的复杂问题处理能力，能够提供更精准和智能的回答。这一技术突破标志着AI在自然语言处理领域迈出了重要一步，为开发者提供了新的工具选择。MaskSearch的开源将进一步推动相关领域的技术创新与应用落地。

阿里通义开源「推理+搜索」预训练新框架：小模型媲美大模型，多个开放域问答数据集表现显著提升 阿里通义实验室发布全新通用预训练框架MaskSearch，大幅提升大模型“推理+搜索”能力。在开放域问答任务中，MaskSearch表现超越基线方法，小模型甚至媲美大模型。 通义实验室的搜索团队此前推出Z...

全新预训练数据筛选方案发布，数据效率提升十倍！仅需fastText评分器，由港科大与vivo联合推出。

8张GPU训出近SOTA模型，超低成本图像生成预训练方案开源 仅需8张GPU，就能实现近SOTA的高质量图像生成效果。模型名为LightGen，由港科大Harry Yang团队联合Everlyn AI等机构打造，借助知识蒸馏（KD）和直接偏好优化（DPO）策略，大幅降低训练成本。 LightGe...

在海淀区的零一万物办公区内，员工们依旧忙碌，似乎未受外界舆论影响。李开复接受了虎嗅的一对一采访，分享了他的心路历程和公司决策。 李开复表示，零一万物的核心团队自创立以来基本未变，包括谷雪梅、马杰等人。决策过程基于共识，每个重要决策都通过坦诚的全员会议达成一致。 谈及预训练，李开复透露，公司在2024...

据第一财经报道，阿里云正洽谈收购零一万物的预训练团队，报价已谈妥。零一万物回应称报道中有事实错误。CEO李开复在评论区否认此事，并表示2024年公司确认收入超一亿，2025年会大幅增长。李开复强调2025年是大模型应用爆发和商业化淘汰年，建议专注重要事项。此前，零一万物与阿里云合作成立产业大模型联合实验室。另有关于零一万物拆分多个应用公司独立融资的传言，新公司“绿洲”由马杰担任董事长，零一万物仍是其最大股东。

《科创板日报》7日讯，零一万物否认其预训练大模型团队将被阿里云收购的消息。李开复在朋友圈表示，零一万物2024年确认收入超一亿，并预计2025年会大幅增长。1月2日，阿里云宣布与零一万物达成战略合作，成立‘产业大模型联合实验室’，推动大模型技术的应用与生态整合。

据第一财经报道，阿里云正在洽谈收购零一万物的预训练团队，该团队人数约60人。此次收购不涉及零一万物的业务团队。截至发稿，阿里云未作回应。值得注意的是，阿里云和零一万物于1月2日达成模型平台业务战略合作，双方将成立‘产业大模型联合实验室’，共同推动大模型从技术到应用的落地。