10月20日，OpenAI发布联合声明，宣布与演员布莱恩·克兰斯顿及美国演员工会（SAG-AFTRA）等表演者工会合作，加强对AI视频生成应用Sora的监管，防范深度伪造（Deepfake）内容的滥用。此举旨在应对AI技术可能带来的虚假信息传播风险，展现其对社会负责的态度。此次合作凸显了OpenAI在技术开发与伦理规范之间的平衡努力，也反映了行业对AI生成内容监管的高度重视。

10月18日，美国多地青少年利用生成式AI技术伪造“流浪汉进家门”的照片整蛊父母，引发恐慌甚至报警。马萨诸塞州、华盛顿州等地警方警告，这种行为既危险又浪费警力资源，并可能构成犯罪。俄亥俄州已有两名未成年人因此被起诉。英国也出现类似情况，警方呼吁确认可疑影像真实性后再报警。得克萨斯州警方指出，这类恶作剧看似无害，却可能延误真正的紧急事件并影响公共安全。专家提醒，AI深度伪造技术已深入生活，真假难辨的时代正在到来。

10月2日，OpenAI推出名为Sora的TikTok风格AI视频应用，主打生成和分享AI视频内容，但因包含大量CEO萨姆・奥尔特曼的深度伪造视频引发争议。多位现任及前任研究员在社交平台X上表达不满，质疑其是否符合OpenAI‘惠及人类’的非营利使命。研究员约翰・霍尔曼称团队虽努力设计积极体验，但仍担忧AI信息流的风险；哈佛教授博阿兹・巴拉克则认为技术令人惊叹，但避开社交媒体陷阱仍需时间。前研究员罗汉・潘迪借此宣传自己的新公司Periodic Labs，呼吁开发推动科学进步的AI。奥尔特曼回应称，盈利与展示新技术并行不悖，并回顾ChatGPT初期也曾受质疑。OpenAI表示将规避沉迷设计，优先优化内容创作量，而非用户刷视频时长，但点赞动态表情等细节仍被指提升用户粘性。目前Sora刚上线一天，效果尚待观察。

10月1日，OpenAI推出全新视频社交应用Sora，目前仅向美国和加拿大用户开放。这款iPhone应用采用邀请制，界面类似TikTok，允许用户上传短视频，供他人基于素材生成AI深度伪造视频，但需本人同意。用户可决定是否允许朋友或所有人使用其形象生成视频，并拥有删除或收回权限的权利。OpenAI称此应用可能成为“视频生成领域的ChatGPT时刻”。应用禁止生成色情或极端内容，且对公众人物形象生成设置了严格限制，未获授权无法使用。视频生成时长上限为10秒，并提供类似TikTok的互动功能。

2025年8月28日，在上海网络安全产业创新大会上，上海人工智能安全工作委员会正式揭牌成立。该委员会由上海市经信委指导，上海市人工智能行业协会与上海仪电(集团)有限公司联合商汤科技、阶跃星辰等多家AI与安全领域头部企业共同发起。委员会旨在推动“AI+安全”技术协同与治理创新，应对深度伪造、数据投毒等新型威胁，重塑产业防御范式，为人工智能与网络安全的融合发展提供支持。

2025年8月20日，北京互联网法院审结一起AI“深度伪造”名人声音带货侵权案，判决商家赔礼道歉并赔偿12万元。原告李某某为教育领域知名人士，发现被告某文化传媒公司在网络平台使用其肖像和AI合成声音推广图书，未获授权，构成对其肖像权和声音权的侵犯。法院认为，涉案AI合成声音与原告声音高度一致，易使公众误认关联，落入声音权益保护范围。被告作为委托方未尽审查义务，需与视频发布者承担连带责任。该案一审判决已生效，被告已履行判决内容。

近日，在加拿大蒙特利尔举行的国际人工智能联合会议（IJCAI）期间，蚂蚁数科与新加坡科技研究局联合主办‘深度伪造检测、定位、可解释性’研讨会。会上，蚂蚁数科开源180万深度伪造定位数据集（DDL-Datasets），涵盖人脸伪造、视频篡改、声音克隆等高危场景，标注了AI造假的具体位置和时间，助力算法可解释性提升。同时，斯坦福大学联合谷歌等开源视频数据集DeepAction，包含2600段动作视频，相关论文获最佳论文奖。此外，澳大利亚莫纳什大学研究表明，文化背景影响深度伪造感知差异。蚂蚁数科长期投入AI安全，旗下ZOLOZ‘实人认证’产品准确率达99.9%，服务覆盖超25个国家和地区。

8月14日，据科技媒体Android报道，谷歌相册正开发一项名为“AI照片检测”的新功能，代号为“threepio”。该功能将帮助用户识别图片是否由AI工具编辑或生成，以及是否涉及深度伪造。代码显示，功能支持检测内容包括：是否使用AI工具编辑、是否结合多个AI工具、图片是否由相机拍摄或合成等。用户在浏览图片时，只需上滑即可查看相关提示，如“由AI创建的媒体”、“使用多个AI工具编辑”等。这一功能或将提升图片真实性的透明度，应对日益增长的AI生成内容挑战。

近日，联合国在瑞士日内瓦召开全球AI for Good峰会，蚂蚁集团技术战略与发展部副总经理彭晋分享了中国在金融场景中对抗“深度伪造”的技术成果。他披露，蚂蚁数科服务的东南亚银行伪造人脸攻击率从高峰期的10%降至4%，识别准确率达99.9%。这一成果为全球AI安全治理提供了可复用的“中国方案”。随着生成式AI工具普及，“AI换脸”欺诈事件频发，尤其威胁金融机构安全。蚂蚁数科旗下ZOLOZ通过动态深度学习模型和风控策略，有效抵御呈现式与注入式攻击，已服务全球超25个国家和地区。此前，蚂蚁数科还开放了超180万的多模态深度伪造数据集，推动行业开展AI安全研究。

自6月中旬起，有人利用AI生成美国务卿鲁比奥的声音和书写风格，在聊天软件Signal上冒充他联系至少5名官员，包括多国外交部长、一名州长及国会议员。美国务院确认该事件并加强网络安全措施，称正调查以防止类似情况。FBI指出，自4月以来恶意行为者多次冒充美高级官员，通过短信和语音钓鱼试图获取信息或资金。此前，深度伪造视频曾显示鲁比奥发表虚假言论，被乌方驳斥。专家警告，随着AI技术进步，伪造内容更难辨别，科技公司与滥用者陷入‘军备竞赛’，目前伪造方占优。国务院已向员工和外国政府发出警告。