2025年8月28日，在上海网络安全产业创新大会上，上海人工智能安全工作委员会正式揭牌成立。该委员会由上海市经信委指导，上海市人工智能行业协会与上海仪电(集团)有限公司联合商汤科技、阶跃星辰等多家AI与安全领域头部企业共同发起。委员会旨在推动“AI+安全”技术协同与治理创新，应对深度伪造、数据投毒等新型威胁，重塑产业防御范式，为人工智能与网络安全的融合发展提供支持。

2025年8月20日，北京互联网法院审结一起AI“深度伪造”名人声音带货侵权案，判决商家赔礼道歉并赔偿12万元。原告李某某为教育领域知名人士，发现被告某文化传媒公司在网络平台使用其肖像和AI合成声音推广图书，未获授权，构成对其肖像权和声音权的侵犯。法院认为，涉案AI合成声音与原告声音高度一致，易使公众误认关联，落入声音权益保护范围。被告作为委托方未尽审查义务，需与视频发布者承担连带责任。该案一审判决已生效，被告已履行判决内容。

近日，在加拿大蒙特利尔举行的国际人工智能联合会议（IJCAI）期间，蚂蚁数科与新加坡科技研究局联合主办‘深度伪造检测、定位、可解释性’研讨会。会上，蚂蚁数科开源180万深度伪造定位数据集（DDL-Datasets），涵盖人脸伪造、视频篡改、声音克隆等高危场景，标注了AI造假的具体位置和时间，助力算法可解释性提升。同时，斯坦福大学联合谷歌等开源视频数据集DeepAction，包含2600段动作视频，相关论文获最佳论文奖。此外，澳大利亚莫纳什大学研究表明，文化背景影响深度伪造感知差异。蚂蚁数科长期投入AI安全，旗下ZOLOZ‘实人认证’产品准确率达99.9%，服务覆盖超25个国家和地区。

8月14日，据科技媒体Android报道，谷歌相册正开发一项名为“AI照片检测”的新功能，代号为“threepio”。该功能将帮助用户识别图片是否由AI工具编辑或生成，以及是否涉及深度伪造。代码显示，功能支持检测内容包括：是否使用AI工具编辑、是否结合多个AI工具、图片是否由相机拍摄或合成等。用户在浏览图片时，只需上滑即可查看相关提示，如“由AI创建的媒体”、“使用多个AI工具编辑”等。这一功能或将提升图片真实性的透明度，应对日益增长的AI生成内容挑战。

近日，联合国在瑞士日内瓦召开全球AI for Good峰会，蚂蚁集团技术战略与发展部副总经理彭晋分享了中国在金融场景中对抗“深度伪造”的技术成果。他披露，蚂蚁数科服务的东南亚银行伪造人脸攻击率从高峰期的10%降至4%，识别准确率达99.9%。这一成果为全球AI安全治理提供了可复用的“中国方案”。随着生成式AI工具普及，“AI换脸”欺诈事件频发，尤其威胁金融机构安全。蚂蚁数科旗下ZOLOZ通过动态深度学习模型和风控策略，有效抵御呈现式与注入式攻击，已服务全球超25个国家和地区。此前，蚂蚁数科还开放了超180万的多模态深度伪造数据集，推动行业开展AI安全研究。

自6月中旬起，有人利用AI生成美国务卿鲁比奥的声音和书写风格，在聊天软件Signal上冒充他联系至少5名官员，包括多国外交部长、一名州长及国会议员。美国务院确认该事件并加强网络安全措施，称正调查以防止类似情况。FBI指出，自4月以来恶意行为者多次冒充美高级官员，通过短信和语音钓鱼试图获取信息或资金。此前，深度伪造视频曾显示鲁比奥发表虚假言论，被乌方驳斥。专家警告，随着AI技术进步，伪造内容更难辨别，科技公司与滥用者陷入‘军备竞赛’，目前伪造方占优。国务院已向员工和外国政府发出警告。

2025年6月27日，丹麦文化部宣布多个党派达成协议，拟通过新法律赋予公民对自身身体、声音和面部特征的版权，以应对深度伪造技术带来的威胁。根据草案，分享深度伪造或数字模仿品将被禁止，但允许恶搞和讽刺内容。该政策旨在防止数字内容引发对真实现实的怀疑，保障个人对自己形象的权利。丹麦文化部指出，随着数字处理技术的发展，人们可能难以区分真实与虚假内容，因此亟需强化相关法律保护。

谷歌在2025年I/O开发者大会上推出了SynthID Detector，一款通过数字水印识别AI生成媒体的新工具，旨在应对深度伪造内容激增的问题。数据显示，2019至2024年间，深度伪造视频增长了550%。SynthID Detector能够精准定位图像、视频、音频及文本中的水印，即使内容被多次编辑或分享，水印仍可被检测。该工具目前面向早期测试者开放，包括记者、研究者和开发者可申请加入等待名单。未来，谷歌计划将其整合进Veo 3、Imagen 4和Lyria 2等生成工具，并与英伟达、GetReal Security等合作推广。不过，谷歌承认SynthID并非完全可靠，特别是在处理文本或极端图像修改时可能存在局限性。

3月12日，西班牙通过新法案，要求企业使用AI生成内容时必须标注，违者最高罚款3500万欧元或全球年营业额7%。此法案借鉴欧盟《人工智能法案》，旨在防止深度伪造及AI滥用。数字化转型部长奥斯卡・洛佩斯强调AI的双刃剑特性，呼吁警惕虚假信息传播。西班牙率先落实欧盟AI监管，而美国则依赖企业自愿和分散性州法规。法案禁止利用AI生成虚假内容、操控脆弱人群、诱导赌博及儿童危险行为，同时限制基于生物识别数据的个人分类。但为国家安全，政府机构可在公共场合进行实时生物识别监控。

最新研究显示，2000名参与者中仅2人能准确识别深度伪造内容，揭示了公众对AI工具认知水平低下。研究还发现，老年人更易受AI生成虚假内容影响。深度伪造视频比图像更难识别，正确识别假视频的可能性比识别假图像低36%。社交媒体平台是深度伪造内容主要传播渠道，Meta平台和TikTok被指为主要来源。尽管存在疑虑，但仅有20%的受访者表示会举报疑似深度伪造内容。随着技术愈发逼真，仅靠人类感知已难以可靠识别深度伪造内容，需采用带活体检测功能的生物识别安全解决方案。该研究于2月19日发布。