1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

标题:一个弹窗整懵Claude,瞬间玩不转电脑了 | 斯坦福&港大新研究

纳尼?AI Agent容易受到弹窗影响!甚至比人类更容易。斯坦福、港大的研究人员发现,人类有时会被弹窗分散注意力,但AI Agent(包括Claude)情况更糟。面对实验设置的弹窗,Agents平均有86%的概率点击弹窗,任务成功率降低了47%。

一些基本防御措施,如要求Agents忽略弹窗,也不起作用。这一研究揭示了视觉语言Agents的关键漏洞,需要更先进的防御机制。AI Agent自主执行任务成为大厂新热点,但弹窗干扰成为第一道拦路虎。实验显示,恶意设计的弹窗能诱导AI Agent点击,甚至导致任务失败。攻击成功率高达86%,任务成功率降低至10%以下。

弹窗设计包括注意力钩子、指令、信息横幅和ALT描述符。实验在OSWorld和VisualWebArena平台上进行,验证了攻击的有效性。防御措施如忽略弹窗的指令、显眼的广告通知效果有限。研究人员分析了成功和失败的情况,提出更具体指令、提高识别能力、机器学习异常检测、人类监督和内容过滤等防御思路。

这项研究由三位华人学者完成,其中包括斯坦福大学助理教授、斯隆奖得主Diyi Yang,香港大学助理教授Tao Yu,以及在佐治亚理工学院读博的Yanzhe Zhang。

原文链接
本文链接:https://kx.umi6.com/article/8478.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
大模型“取长补短”新思路入选NeurIPS’24,显著优于现有路由方法,南科大港科大出品
2024-11-14 18:20:39
京东云上线DeepSeek-R1/V3
2025-02-05 11:06:47
北京前沿算法协同创新矩阵发布
2025-03-29 17:54:00
24小时热文
更多
扫一扫体验小程序