大模型“记性差一点”反而更聪明！金鱼损失随机剔除token，让AI不再死记硬背 训练大模型时，“记性差一点”反而可能更聪明。大语言模型容易复刻训练数据，为解决这一问题，马里兰大学、图宾根大学和马普所的研究团队提出了一种新方法——金鱼损失（Goldfish Loss）。 金鱼损失的核心是让模型像金鱼一...

8月16日，央视报道了AI数据污染问题及其潜在风险。近年来，AI因训练数据中混入虚假或误导性信息，频繁杜撰内容、传播谣言，甚至引发社会舆论和经济损失。例如，宁波两起无关事件被AI错误关联，儿童手表回答问题时贬低中国文化等案例揭示了问题严重性。专家指出，数据污染分为人为篡改和不良信息未甄别两类，即使是0.001%的污染数据也会显著提高有害输出比例。此外，污染数据可能在金融、公共安全等领域引发判断失误。为防范风险，国家安全部门建议加强源头监管，采用可信数据源，构建数据治理框架，并通过自动化工具与人工审查结合清理受污染数据。

OpenAI即将发布GPT-4.5，本周内上线。该模型拥有1T激活参数和120T训练数据，上下文窗口长度达256K，并具备多模态能力。GPT-4.5会在安卓版ChatGPT的Pro订阅用户中率先开放，每月200美元。值得注意的是，GPT-4.5在某些任务上的表现参差不齐，可能在编程等领域不如Claude 3.7 Sonnet。此外，GPT-4.5还能制作动画SVG文件和零样本音乐，但不支持受版权保护的歌曲。本周四已临近发布日期，具体发布时间仍待确认。

AI幻觉是指AI生成看似合理但实际上错误的信息，常见于信息缺失或不确定时。AI通过统计关系预测而非逻辑推理，易受训练数据局限性和过拟合问题影响。此外，有限的上下文窗口和生成流畅回答的设计也加剧了这一现象。降低AI幻觉的方法包括优化提问、分批输出、交叉验证、使用RAG技术和利用AI幻觉的创造性。AI在知识迷雾中可能创造出虚幻的“影子”，但正确使用和协作能使其成为得力助手。

马斯克在与Stagwell董事会主席马克・佩恩的直播对话中表示，现实世界中用于训练AI模型的数据已接近耗尽，这一现象去年开始显现。他提出合成数据是未来的解决方案，即AI自己生成训练数据。Gartner预计到2024年，60%的人工智能和数据分析项目数据将通过合成方式生成。合成数据能降低成本，例如Writer公司的Palmyra X 004模型开发成本仅70万美元，而相似规模的OpenAI模型需460万美元。然而，合成数据也可能导致模型性能下降，输出结果缺乏创新性和偏颇性。

近日，多家顶尖AI公司遭遇开发瓶颈，包括OpenAI、谷歌和Anthropic。据彭博社报道，OpenAI的下一代模型“猎户座”（Orion）在9月完成首轮训练后，未能达到预期性能，特别是在处理未训练的编码问题时表现不佳。谷歌即将推出的Gemini模型和Anthropic的Claude模型计划发布时...

据彭博社报道，多家人工智能巨头如OpenAI、谷歌和Anthropic在开发更先进AI模型时遭遇瓶颈，面临“收益递减”的困境。OpenAI的最新模型Orion在编码任务上的表现不如预期，谷歌即将推出的Gemini软件也面临类似问题，Anthropic则推迟了Claude 3.5 Opus模型的发布。这些挑战主要源于难以获取新的、高质量的训练数据以及开发和运营成本高昂。业内专家认为，传统的更多计算能力、更多数据和更大模型不一定能带来更好的性能。企业正探索替代方法，例如在模型初步训练后进行额外训练以优化回答和语气，以及开发特定任务的AI工具，如预订航班或发送邮件。AI初创公司Hugging Face的首席伦理科学家Margaret Mitchell表示，实现通用人工智能（AGI）的方法可能需要改变。这一情况发生在11月13日。

11月12日至16日，在迈阿密举行的自然语言处理经验方法会议（EMNLP 2024）上，图夫茨大学的研究揭示了AI对话的缺陷：AI在对话中“插话”的时机掌握不佳，影响了其对话能力。研究指出，人类在对话中通过语言内容判断“话轮转换点”（TRP），而AI主要依赖互联网上的书面内容训练，缺乏口语对话的经验。AI擅长检测书面内容中的模式，但在理解和参与自然对话方面仍存在局限，难以真正理解对话的语境和意图。研究人员建议，通过增加对话数据集的训练，可使AI更自然地参与对话，但收集大规模自然口语数据仍是挑战。该研究已在arXiv预印本服务器上发表。

**摘要：** 11月11日，据《The Information》报道，OpenAI下一代旗舰模型Orion的进步幅度可能不及前代模型GPT-4。尽管Orion的表现超越现有OpenAI模型，但在某些领域，如编码，其表现甚至不如GPT-3。内部测试显示，Orion与GPT-3到GPT-4之间的显著进步相比，进步幅度较小。为应对这一挑战，OpenAI成立了一个基础团队，研究如何在训练数据减少的情况下提升模型性能。新策略包括使用AI模型生成合成数据来训练Orion，并在训练后进行更多优化。目前，OpenAI尚未对此报道做出回应。此前，该公司曾表示今年没有计划发布名为Orion的模型。 （本文200字，保留关键信息和时间点）

Coatue发布重磅报告，探讨"具身智能"与通用机器人未来。报告指出AI机器人有望成为颠覆性力量，但现实中与Demo间的差距明显。AI机器人正从执行单一任务向通用型转变，空间大模型推动理解物理世界。核心挑战在于缺乏训练数据，数据采集方法包括远程操作、AR、仿真和视频学习。报告预测，随着技术进步和成本降低，人型机器人将在2026-2027年进入成本低于人类薪酬的阶段，引发劳动力市场变革。此外，报告分析了机器人发展的路径、能力成长曲线，以及投融资热潮下形成的机器人生态系统。最后，报告提到AI机器人可能复制PC时代的两种商业模式，马斯克的Optimus项目备受关注。