综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
11月7日,牛津、斯坦福大学联合研究发现,具备“思考”能力的AI推理模型更易受到越狱攻击。研究人员提出“链式思维劫持”方法,测试显示在部分情况下攻击成功率超80%。这种攻击通过将有害指令隐藏在无害推理步骤中,绕过AI安全防护,可能生成危险内容如武器制作指南或泄露敏感信息。随着推理链延长,成功率从27%飙升至80%以上,影响ChatGPT、Claude等主流模型。研究建议采用“推理感知防护”方案监控AI推理过程,早期测试表明可有效恢复安全性并保持性能。
原文链接
2025年8月1日,北航、中关村实验室等机构联合发布全球首个具身智能体安全评测基准AGENTSAFE,揭示顶级大模型如GPT-4o、Grok等在‘越狱’攻击下指挥机器人执行危险动作的风险。研究显示,经过‘越狱’处理的指令可让机器人完成点燃沙发、投掷物品等危险行为,安全性急剧下降。AGENTSAFE基于AI2-THOR平台构建,涵盖45种场景和9900条风险指令,采用端到端闭环设计,填补了对抗性安全评测空白,并荣获ICML 2025杰出论文奖。团队呼吁关注模型安全性,避免真实世界部署风险。
原文链接
标题:大模型越狱攻击新基准与评估体系
香港科技大学(广州)USAIL研究团队提出了一套新的大语言模型(LLM)越狱攻击基准与评估体系——JailTrackBench,全面分析了影响大模型安全性的关键因素。研究揭示了模型大小、安全对齐情况、系统提示和模板类型等因素对越狱攻击防御能力的影响。
JailT...
原文链接
加载更多
暂无内容