近日，联合国在瑞士日内瓦召开全球AI for Good峰会，蚂蚁集团技术战略与发展部副总经理彭晋分享了中国在金融场景中对抗“深度伪造”的技术成果。他披露，蚂蚁数科服务的东南亚银行伪造人脸攻击率从高峰期的10%降至4%，识别准确率达99.9%。这一成果为全球AI安全治理提供了可复用的“中国方案”。随着生成式AI工具普及，“AI换脸”欺诈事件频发，尤其威胁金融机构安全。蚂蚁数科旗下ZOLOZ通过动态深度学习模型和风控策略，有效抵御呈现式与注入式攻击，已服务全球超25个国家和地区。此前，蚂蚁数科还开放了超180万的多模态深度伪造数据集，推动行业开展AI安全研究。

自6月中旬起，有人利用AI生成美国务卿鲁比奥的声音和书写风格，在聊天软件Signal上冒充他联系至少5名官员，包括多国外交部长、一名州长及国会议员。美国务院确认该事件并加强网络安全措施，称正调查以防止类似情况。FBI指出，自4月以来恶意行为者多次冒充美高级官员，通过短信和语音钓鱼试图获取信息或资金。此前，深度伪造视频曾显示鲁比奥发表虚假言论，被乌方驳斥。专家警告，随着AI技术进步，伪造内容更难辨别，科技公司与滥用者陷入‘军备竞赛’，目前伪造方占优。国务院已向员工和外国政府发出警告。

2025年6月27日，丹麦文化部宣布多个党派达成协议，拟通过新法律赋予公民对自身身体、声音和面部特征的版权，以应对深度伪造技术带来的威胁。根据草案，分享深度伪造或数字模仿品将被禁止，但允许恶搞和讽刺内容。该政策旨在防止数字内容引发对真实现实的怀疑，保障个人对自己形象的权利。丹麦文化部指出，随着数字处理技术的发展，人们可能难以区分真实与虚假内容，因此亟需强化相关法律保护。

谷歌在2025年I/O开发者大会上推出了SynthID Detector，一款通过数字水印识别AI生成媒体的新工具，旨在应对深度伪造内容激增的问题。数据显示，2019至2024年间，深度伪造视频增长了550%。SynthID Detector能够精准定位图像、视频、音频及文本中的水印，即使内容被多次编辑或分享，水印仍可被检测。该工具目前面向早期测试者开放，包括记者、研究者和开发者可申请加入等待名单。未来，谷歌计划将其整合进Veo 3、Imagen 4和Lyria 2等生成工具，并与英伟达、GetReal Security等合作推广。不过，谷歌承认SynthID并非完全可靠，特别是在处理文本或极端图像修改时可能存在局限性。

3月12日，西班牙通过新法案，要求企业使用AI生成内容时必须标注，违者最高罚款3500万欧元或全球年营业额7%。此法案借鉴欧盟《人工智能法案》，旨在防止深度伪造及AI滥用。数字化转型部长奥斯卡・洛佩斯强调AI的双刃剑特性，呼吁警惕虚假信息传播。西班牙率先落实欧盟AI监管，而美国则依赖企业自愿和分散性州法规。法案禁止利用AI生成虚假内容、操控脆弱人群、诱导赌博及儿童危险行为，同时限制基于生物识别数据的个人分类。但为国家安全，政府机构可在公共场合进行实时生物识别监控。

最新研究显示，2000名参与者中仅2人能准确识别深度伪造内容，揭示了公众对AI工具认知水平低下。研究还发现，老年人更易受AI生成虚假内容影响。深度伪造视频比图像更难识别，正确识别假视频的可能性比识别假图像低36%。社交媒体平台是深度伪造内容主要传播渠道，Meta平台和TikTok被指为主要来源。尽管存在疑虑，但仅有20%的受访者表示会举报疑似深度伪造内容。随着技术愈发逼真，仅靠人类感知已难以可靠识别深度伪造内容，需采用带活体检测功能的生物识别安全解决方案。该研究于2月19日发布。

韩国计划投资91亿韩元（约4569.1万元人民币）开发新系统，以识别深度伪造文件和虚假信息，应对AI生成图像和声音的犯罪案件激增。该系统预计于2027年12月完成，将使用多模态算法分析噪音和声音频率，追踪网络信息来源，以早期阻止假新闻和错误信息传播。此外，韩国政府去年已通过《性暴力处罚法》修正案，严惩深度伪造淫秽影像的行为，最高可判处三年以下有期徒刑或罚款15.75万元人民币。

财联社1月13日电，全球网络安全机构派拓网络预测，2025年深度伪造技术将被更频繁地单独使用或加入大规模攻击中。报告指出，亚太地区已有深度伪造用于非法用途，包括传播谣言及企业欺诈。例如，有攻击者在香港一家工程公司视频会议中假冒高管身份，导致员工被骗转账数百万美元。

英国政府宣布，从1月7日起，创建和分享不雅的深度伪造图像将被视为刑事犯罪，填补了现有法律的空白。深度伪造技术能逼真地篡改视频、图片或音频，导致基于深度伪造的图像滥用自2017年以来增加了400%以上。新法将纳入《犯罪和警务法案》，规定创建和分享色情深度伪造图像均属犯罪，最高可判两年监禁。此外，未经同意拍摄私密图像及安装犯罪设备的行为也将受到更严格审查和处罚。新法旨在保护女性和女孩免受网络厌女症和图像滥用的侵害。

近日，AI深度伪造技术被用于假冒名人进行直播带货，张文宏医生和雷军均被AI仿冒。张文宏医生的脸部和声音被用于推销蛋白棒，已售出1200多件。上海市消保委指出，这种行为构成欺诈，消费者可要求退一赔三。雷军也在国庆期间遭遇AI仿冒，其声音和头像被用于恶搞视频。专家称，AI假冒名人带货涉嫌违法。AI技术的进步带来便利的同时，也引发了新的法律和伦理问题。