7月6日，Meta以143亿美元收购Scale AI近一半股份，引发行业震动。Scale AI为谷歌、OpenAI等提供AI训练数据，但交易导致部分合作暂停，竞争对手迅速填补空缺。五家竞争公司称客户咨询和招聘兴趣显著增加，强调‘数据中立性’为核心卖点。Appen CEO表示，上市公司身份和中立性成优势；Prolific和Turing也主打‘无利益冲突’吸引客户。同时，Scale的自由职业者因项目停滞转投竞争对手，Mercor AI称已收到多名Scale员工申请，仅招募顶级人才。此次收购正重塑AI数据标注市场格局。

6月16日消息，哈佛大学法学院图书馆在微软与OpenAI支持下，开源首个AI训练数据集“Institutional Books 1.0”。该数据集收录了哈佛馆藏的98.3万本书籍，涵盖245种语言、2420亿个Token，40%为英语书籍，主要集中于19至20世纪，分为20个主题。每本书提供完整元数据，包括作者、出版年份、语言及来源等信息。未来，哈佛大学计划扩展数据内容，已与波士顿公共图书馆合作，将历史报纸数字化加入数据集。此外，他们还将开发AI工具，提升馆藏整理效率并推动负责任的数据使用规范。

新加坡国立大学等机构的研究者提出了一种元能力对齐训练框架，模仿人类推理心理学原理，结合演绎、归纳与溯因能力，显著提升AI在数学、编程等任务上的性能。该框架无需人工标注，可自动生成训练数据并验证结果。实验显示，7B和32B参数量的模型在数学任务上分别提升了11.1%的性能。这种方法不仅增强了模型的推理能力，还展现了跨领域的可扩展性，为构建更鲁棒、可解释的AI模型提供了新思路。

美股数据标注公司Innodata近一年股价涨幅达432%，2024年营收同比增长96.44%，其中五大客户来自美股七巨头。得益于大模型行业需求激增，Innodata受益显著。然而，随着DeepSeek等新技术出现，市场对其前景产生分歧。支持者认为其转向大模型数据清理具备潜力，而质疑者指出其技术含量有限，仍高度依赖人力外包。数据显示，2024年第二季度Innodata招聘支出达360万美元，凸显人力依赖现状。尽管如此，科技专家周迪认为人工标注在深度语义理解领域仍有不可替代性，且DeepSeek可能带来更多数据标注需求。但长远来看，数据标注的AI化或成为行业挑战，Innodata可持续增长面临不确定性。

OpenAI即将发布GPT-4.5，本周内上线。该模型拥有1T激活参数和120T训练数据，上下文窗口长度达256K，并具备多模态能力。GPT-4.5会在安卓版ChatGPT的Pro订阅用户中率先开放，每月200美元。值得注意的是，GPT-4.5在某些任务上的表现参差不齐，可能在编程等领域不如Claude 3.7 Sonnet。此外，GPT-4.5还能制作动画SVG文件和零样本音乐，但不支持受版权保护的歌曲。本周四已临近发布日期，具体发布时间仍待确认。

AI幻觉是指AI生成看似合理但实际上错误的信息，常见于信息缺失或不确定时。AI通过统计关系预测而非逻辑推理，易受训练数据局限性和过拟合问题影响。此外，有限的上下文窗口和生成流畅回答的设计也加剧了这一现象。降低AI幻觉的方法包括优化提问、分批输出、交叉验证、使用RAG技术和利用AI幻觉的创造性。AI在知识迷雾中可能创造出虚幻的“影子”，但正确使用和协作能使其成为得力助手。

2月7日，Ars Technica报道Meta公司因AI模型训练数据来源再次陷入法律纠纷。原告披露的邮件显示，Meta不仅知晓使用LibGen数据库进行AI训练涉及盗版，还试图掩盖通过种子下载方式获取至少81.7TB数据的行为，甚至采用“隐身模式”。Meta研究员Frank Zhang的邮件透露，为了避免追踪，下载数据时未使用Facebook服务器。高管迈克尔・克拉克证实Meta修改设置以减少种子传播。邮件显示使用LibGen的决定已上报给马克・扎克伯格，这与扎克伯格先前不知情的证词相矛盾。Meta坚称合理使用，但新证据使其处境更加复杂。

英伟达于1月13日发布了一款名为Nemotron-CC的大型AI训练数据库，包含6.3万亿Token，其中1.9万亿为合成数据。该数据库旨在解决现有公开数据库在规模和质量上的局限性，有助于推动大语言模型的训练。Nemotron-CC基于Common Crawl网站数据构建，经过严格处理流程形成高质量子集Nemotron-CC-HQ。与现有领先数据库DCLM相比，使用Nemotron-CC-HQ训练的模型在MMLU基准测试中得分提高5.6分。此外，Nemotron-CC训练的80亿参数模型在多个基准测试中均有显著提升。英伟达表示，Nemotron-CC已公开在Common Crawl网站上。

人工智能训练数据耗尽了怎么办？ 近日，马斯克在社交平台X的直播对话中表示，AI训练数据已在去年耗尽：“我们基本用尽了所有人类知识进行AI训练。” 马斯克的观点与前OpenAI首席科学家Ilya Sutskever一致。Sutskever曾表示，AI行业已达到“数据峰值”，训练数据不足将迫使AI开发方...

马斯克在与Stagwell董事会主席马克・佩恩的直播对话中表示，现实世界中用于训练AI模型的数据已接近耗尽，这一现象去年开始显现。他提出合成数据是未来的解决方案，即AI自己生成训练数据。Gartner预计到2024年，60%的人工智能和数据分析项目数据将通过合成方式生成。合成数据能降低成本，例如Writer公司的Palmyra X 004模型开发成本仅70万美元，而相似规模的OpenAI模型需460万美元。然而，合成数据也可能导致模型性能下降，输出结果缺乏创新性和偏颇性。