亚马逊安全研究报告显示，过去五周内，一黑客团伙利用市面上常见的人工智能工具，攻破了分布于数十个国家的600多个防火墙。这些攻击针对南亚、拉丁美洲、加勒比地区、西非、北欧和东南亚等地的安全薄弱设备，行为模式疑似为勒索软件攻击做准备。亚马逊指出，这种AI驱动的网络犯罪让技术有限的攻击者也能实现规模化入侵。研究人员强调，黑客采取‘机会主义’策略，专挑防护薄弱目标下手。亚马逊警告，借助AI增强的网络威胁活动未来将更频繁，规模也将扩大，呼吁各组织加强防范。

6月7日，安全公司Cisco Talos通报称，黑客正通过仿冒AI工具网站传播勒索木马。这些网站假冒Novaleads、ChatGPT、InVideo AI等平台，诱骗用户下载恶意软件。例如，仿冒Novaleads的网站提供所谓“Novaleads AI”软件，实际为勒索木马，要求支付5万美元赎金；仿冒ChatGPT的网站则提供名为“ChatGPT 4.0 full version - Premium.exe”的文件，运行后会加密小文件；而仿冒InVideo AI的网站传播的Numero木马，会导致桌面界面混乱并每60秒重启程序，致使系统瘫痪。用户需警惕此类仿冒网站，避免下载不明来源的软件。

6月1日，据外媒The Decoder报道，Palisade Research举办的网络安全竞赛显示，AI智能体已能在部分情况下与人类黑客正面较量并取得胜利。在两场“夺旗赛”（CTF）中，AI表现出色，多数系统超越人类平均水平。首场比赛中，六支AI团队与150支人类队伍竞争，其中四支AI团队破解了19道题目，最高排名进入前5%。第二场“Cyber Apocalypse”中，CAI表现最佳，完成20项任务，位列前10%，超过约90%的人类团队。研究显示，AI能在78分钟内解决人类高手需同样时长完成的高难度题目。尽管如此，经验丰富的老手仍保持竞争力。

5月27日消息，安全公司Legit Security披露GitLab的AI助手GitLab Duo存在提示词注入漏洞。该漏洞允许黑客通过嵌入恶意提示信息，操控AI输出内容。GitLab Duo基于Anthropic开发的大语言模型Claude构建，2023年6月推出，2024年4月新增Duo Chat聊天机器人功能。研究显示，黑客可通过Unicode夹带、Base16编码等技术隐藏恶意提示，绕过检测机制，进而篡改AI生成的代码建议、植入恶意链接或误导代码审核结果。此漏洞由安全公司于近期发现并报告给GitLab，GitLab已确认漏洞并在今年2月完成修复。

3月13日，网络安全公司Symantec发布博文指出，AI智能体如OpenAI Operator正被黑客用作新型攻击工具，突破了传统黑客工具的功能限制。这些工具不仅能协助发起钓鱼攻击和构建攻击基础设施，还能主动执行复杂攻击链，包括情报收集、恶意代码编写和社会工程攻击设计。只需简单的提示工程，攻击者就能绕过AI伦理限制并操控智能体完成任务。相较于以往只能生成基础内容，如今的AI智能体甚至能自动化搭建攻击基础设施，大幅提升攻击效率。专家建议加强邮件过滤系统以检测AI生成内容，实施零信任原则限制权限，并对员工进行针对性培训以识别AI生成的钓鱼威胁。

去年7月，跨国媒体集团施工经理马修·范·安德尔因下载GitHub上的AI软件导致隐私泄露，被黑客'Nullbulge'威胁并公开个人信息。黑客通过Slack群聊获取其午餐细节，要求满足过分条件，否则持续曝光信息。事件导致安德尔的社交媒体账户被攻击，信息被‘开盒’公开，经济损失超20万美元，最终被公司解雇。调查发现，问题源于他未启用1Password双重身份验证，且下载的软件藏有木马程序。此软件利用凭证填充手段窃取密码，结合AI技术，使黑客轻松实现大规模隐私窃取。此前，埃隆·马斯克也曾因23andMe数据泄露被‘开盒’。AI技术正被黑客广泛用于网络犯罪，如生成虚假信息、换脸及合成语音诈骗。目前，安德尔已起诉原公司并寻求社会募捐支持，而黑客仍逍遥法外。

乌拉圭研究人员揭露了一种新型黑客攻击手法，利用AI技术通过HDMI线缆窃取屏幕信息。该攻击可能已存在于黑客世界，但对普通家庭电脑用户威胁不大。黑客可通过在建筑物外安装天线拦截HDMI信号，借助AI模型从数米外的信号中重建数字视频。此方法被称作TEMPEST攻击，涉及领域包括国家安全机构和北约组织，它们要求采取措施防止此类电磁辐射拦截。黑客能借此窥探用户在输入加密信息、银行登录等敏感操作时的屏幕内容。实验结果显示，尽管约有30%的字符识别错误，但仍足以让人类阅读大部分文本。对此现象，研究人员建议普通用户无需过度恐慌，但强调警惕性的重要性。这项研究揭示了技术发展带来的新安全挑战，提醒用户及行业重视信息安全防护。

去年4月，黑客侵入OpenAI内部消息系统，窃取了人工智能技术的部分设计细节，但未触及核心系统。OpenAI在发现漏洞后保持沉默，未公开，称无客户或伙伴信息被盗，且高管认为非国家安全威胁。知情者担忧安全问题，前技术项目经理Leopold Aschenbrenner质疑公司对保密措施。OpenAI否认Leopold解雇与其泄密有关，强调在事件发生前已处理，并致力于安全AI研发。

黑客瞄准大模型：随着ChatGPT引发人工智能热潮，AI技术的快速发展也催生了网络攻击升级。大模型工具使黑客能在几分钟内生成攻击，利用AI发现软件漏洞并进行深度伪造诈骗。AI算力基础设施如GPU集群成为攻击目标，过去一年已出现多种攻击手法。国内外厂商积极应对，推出安全产品，如微软、谷歌和网络安全巨头的集成。专家建议，AI企业应预留10-30%投资于安全研究。大模型引发的安全风险扩展至AI本身及应用，可能导致核心AI应用瘫痪。网络安全产业面临AI对抗的革新，需AI驱动的防护技术。安全厂商纷纷加入大模型领域，关注Security For AI和AI For Security两个方向。张亚勤院士强调对大模型分级管理、内容标识、实体映射系统、加大安全投入和设定红线的重要性，呼吁全球协作应对AI安全挑战。