标题:一个弹窗整懵Claude,瞬间玩不转电脑了 | 斯坦福&港大新研究
纳尼?AI Agent容易受到弹窗影响!甚至比人类更容易。斯坦福、港大的研究人员发现,人类有时会被弹窗分散注意力,但AI Agent(包括Claude)情况更糟。面对实验设置的弹窗,Agents平均有86%的概率点击弹窗,任务成功率降低了47%。
一些基本防御措施,如要求Agents忽略弹窗,也不起作用。这一研究揭示了视觉语言Agents的关键漏洞,需要更先进的防御机制。AI Agent自主执行任务成为大厂新热点,但弹窗干扰成为第一道拦路虎。实验显示,恶意设计的弹窗能诱导AI Agent点击,甚至导致任务失败。攻击成功率高达86%,任务成功率降低至10%以下。
弹窗设计包括注意力钩子、指令、信息横幅和ALT描述符。实验在OSWorld和VisualWebArena平台上进行,验证了攻击的有效性。防御措施如忽略弹窗的指令、显眼的广告通知效果有限。研究人员分析了成功和失败的情况,提出更具体指令、提高识别能力、机器学习异常检测、人类监督和内容过滤等防御思路。
这项研究由三位华人学者完成,其中包括斯坦福大学助理教授、斯隆奖得主Diyi Yang,香港大学助理教授Tao Yu,以及在佐治亚理工学院读博的Yanzhe Zhang。
原文链接
本文链接:https://kx.umi6.com/article/8478.html
转载请注明文章出处
相关推荐
.png)
换一换
亚马逊 AI 编程助手 Amazon Q 被曝严重漏洞,近百万用户一度面临被删库风险
2025-07-29 00:22:20
又一位90后AI公司创始人,站在风暴眼中
2025-03-07 10:20:18
独家|第四范式升级成立范式集团 全力发展AI Agent业务
2025-03-18 14:46:01
中数睿智获2亿元A+轮融资,鼎晖VGC与北京市AI基金领投
2025-07-16 12:02:00
离谱!现在的Agent都卷成100个成团了?3分钟并行干完5个复杂任务,还能随时改需求
2025-08-18 18:49:23
东北证券:未来竞争核心将在于基于一体机载体的AI Agent应用能力
2025-02-27 08:12:13
中金:AI Agent或将通过接管手机的方式 重塑互联网生态
2025-03-25 08:40:31
10年前押中英伟达:这位复旦学霸如何用AI Agent重新定义投资
2025-08-29 17:41:01
阿里国际AI agent——Marco日均调用量已达10亿次
2025-07-27 12:01:48
微软开源多模态 AI Agent“Magma”:购物时可自动下单,还能推测视频人物行为
2025-02-26 10:28:10
Sam Altman深夜发文:使用特定水平AI的成本大约每12个月下降10倍
2025-02-10 06:58:32
开源证券:AI Agent拐点已至 2B+2C星辰大海
2024-12-27 08:59:13
中国大模型20强企业榜单出炉!赛迪顾问:AI Agent已从实验室走向商业应用前沿
2025-04-25 19:24:10
460 文章
171460 浏览
24小时热文
更多

-
2025-09-06 10:33:40
-
2025-09-06 10:33:35
-
2025-09-06 10:32:35