综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
2025年9月,OpenAI发布论文《语言模型为何会产生幻觉?》,探讨大语言模型产生幻觉的原因。论文指出,当前训练与评估机制更倾向于奖励‘猜对’而非承认不确定,导致模型在不确定问题上冒险猜测。GPT-5因‘不爱猜测’在测试中表现不佳,引发网友质疑:是否为GPT-5‘挽尊’而重新定义评估基准?OpenAI提议更新评估机制,鼓励模型表达不确定性并惩罚随意猜测。论文还分析了幻觉的普遍性、成因及应对策略,涉及模型预测本质、语言局限性等哲学讨论。网友热议内容是否全为幻觉及实际应用中的平衡问题。参考链接包括OpenAI论文及相关社区讨论。
原文链接
2025年9月,关于AI大模型产生幻觉的原因引发热议。OpenAI论文指出,这可能源于人类训练方式的问题,包括模型学习机制的“内忧”和评估方式的“外患”。训练中,模型易优先追求回答完整性而忽略准确性;评估体系则鼓励模型猜测而非承认无知。以GPT-5为例,其幻觉概率降低但创造力与人情味减弱,用户反应两极化。部分网友发起“拯救4o”运动,迫使OpenAI恢复老模型权限。论文最后提出,幻觉无法完全消除,需在模型性能与用户体验间找到平衡。
原文链接
2025年9月,关于AI大模型产生幻觉的原因引发热议。OpenAI近期论文指出,这一现象不仅源于模型训练机制的“内忧”,还与评估方式导致的“外患”有关。训练中,模型为追求高分倾向于猜测而非承认未知,从而加剧幻觉问题。尽管新模型GPT-5通过改进降低了幻觉概率,但也因此失去了部分创造力和人情味,引发用户不满。最终,OpenAI重新开放了老模型权限。研究显示,幻觉与创造力相辅相成,如何平衡仍是无解难题。
原文链接
标题:AI的“幻觉”:Bug还是人类文明的起点?
正文:
最近读到一篇来自OpenAI的论文,讨论了一个熟悉又令人困惑的话题——AI的“幻觉”。自从AI进入大众视野,“幻觉”就像幽灵般盘旋在每一次对话中。我们享受AI带来的便利,却对它那些“一本正经胡说八道”的时刻感到不安。
AI为什么会“幻觉”...
原文链接
标题:大模型越反思越错,长链推理加重幻觉 | 北邮
北邮网安团队研究发现,当推理链条从3步延长到50步以上时,幻觉率暴增10倍,反思机制甚至可能加剧错误。研究通过“思维链审计实验”揭示了这一现象背后的元认知偏差:长链推理中的反思并非纠错工具,而是为错误颁发“理性证书”。
长链推理的风险
推理...
原文链接
近日,中国软件企业加速接入国产大语言模型如DeepSeek以提升智能化水平,但随之而来的‘幻觉’问题引发关注。所谓‘幻觉’指模型在看似合理的情况下输出错误信息,可能影响决策、服务及法律合规。B端场景对错误容忍度极低,一旦出错将严重损害企业信誉与法律责任。目前,企业面临技术绑定效应,深度集成模型后难以轻易退出,风险日益凸显。专家指出,企业需建立防火墙机制,如引入RAG架构、设置审核流程等,以应对模型潜在缺陷。随着AI应用规模扩大,如何平衡效率与可靠性成为关键挑战。
原文链接
《科创板日报》17日消息,在OceanBase开发者大会上,蚂蚁集团CTO何征宇指出,大模型幻觉源于数据匮乏,廉价互联网数据资源即将耗尽,获取成本上升。同时,行业数据稀缺且流通受限,多模态数据处理及质量评估面临难题。他强调,未来企业的竞争力将取决于数据生产和应用能力。蚂蚁集团计划推动OceanBase在金融、医疗、生活等核心场景的应用突破,并持续支持其开源开放,助力AGI愿景实现。记者黄心怡
原文链接
5月8日,巴黎人工智能检测公司Giskard发布研究称,要求AI简洁作答可能增加其‘幻觉’现象,即输出不准确或虚假信息。研究显示,当指令要求AI缩短回答长度,尤其是涉及模糊主题时,模型的事实性表现会变差。Giskard的研究发现,某些特定提示词会加剧这一现象,如要求简短回答错误问题。包括GPT-4o、Mistral Large和Claude 3.7 Sonnet在内的主流模型,在简洁要求下事实准确性均下降。原因是模型缺乏足够空间反驳错误提示,倾向于选择简洁而非准确性。此外,用户自信的有争议主张会让模型更难反驳,而符合用户期望的模型未必最真实。此研究对AI实际应用有重要警示意义,开发者需权衡简洁与准确性。
原文链接
标题:马蜂窝AI旅行助手上线,DeepSeek大模型+垂直精调模型减少“幻觉”
正文:
近日,马蜂窝宣布其自主研发的AI旅行助手“AI小蚂”正式上线。升级后的“AI小蚂”接入DeepSeek大模型,并集成马蜂窝的垂直精调模型,基于海量真实旅行数据,结合前沿技术,旨在消除旅行场景中的“幻觉”,确保...
原文链接
据《科创板日报》21日报道,OpenAI发现其最新推理模型o4在PersonQA测试中幻觉率较高。具体而言,o4有33%的问题回答出现幻觉,这一比例是之前模型o1和o3 mini的两倍;而o4 mini的表现更差,48%的问题存在幻觉现象。幻觉问题指AI生成的内容与事实不符或无根据。AI研究员Neil Chowdhury指出,o系列模型采用的强化学习可能加剧了这一问题。此情况引发关注,提示AI模型在优化过程中需平衡性能与准确性。
原文链接
加载更多
暂无内容