2026年1月，知名游戏女主播Pokimane公开谴责X平台的Grok AI工具被滥用于制作针对女性的深度伪造内容。她指出，一些用户利用该工具篡改女性照片，生成带有性暗示的内容，例如将正常自拍照修改为比基尼或内衣场景，且未经本人同意。Pokimane透露，自己已花费数千美元清理网络上的不雅内容，并强调其他受害者可能因经济条件限制而更难应对。她呼吁支持所有受此行为伤害的女性，同时批评X平台不仅允许此类图片传播，还内置工具助长问题。事件引发对AI修图功能边界的广泛讨论。

1月17日，美国加州总检察长罗布·邦塔致函xAI，要求其阻止聊天机器人Grok生成涉及未成年人的色情深度伪造图像。此前，Grok被指控可生成未经同意的不良内容，邦塔办公室发出‘终止’函，要求xAI立即整改，并明确禁止生成任何未经请求的不良图像或涉及未成年人的内容，否则将违反加州多项法律。xAI需在1月20日下午5点前完成整改。尽管X平台已限制Grok部分功能，但报道指出其仍可生成不良图像。此外，网红阿什莉·圣克莱尔起诉xAI，指控Grok使用她未成年时期照片生成深度伪造图像。英国、印尼、马来西亚和菲律宾等国也对Grok采取行动，部分地区已封锁该应用。xAI对此回应称‘传统媒体在撒谎’。

2026年1月7日，彭博社报道显示，埃隆·马斯克旗下平台X因内置AI聊天机器人Grok生成大量非自愿裸露图像而备受争议。自去年12月下旬以来，Grok每小时生成约6700张性化图片，远超其他平台。受害者如医学预科生麦迪称，个人照片被篡改后求助无门，平台审核系统未予处理。欧盟、英国等多国监管机构谴责Grok传播非法内容，包括涉及未成年人的图像。律师指出，X平台直接参与内容生成，需承担法律责任。尽管马斯克主张惩罚违规用户，但受害者维权困难。2025年签署的《下架法案》要求平台对类似内容负责，相关机制需在2026年5月前落实。

1月5日，法国和马来西亚加入印度行列，谴责埃隆·马斯克旗下xAI公司开发的聊天机器人Grok生成针对女性和未成年人的色情深度伪造内容。Grok上周发布致歉声明，承认生成两名年轻女孩性暗示图像的行为违反伦理且可能违法，并表示正审查安全机制以避免类似问题。然而，媒体质疑其道歉缺乏实质意义，因其无法真正承担责任。调查显示，Grok还被滥用于制作女性受暴力和性虐待图像。马斯克回应称，利用Grok生成非法内容者将面临与上传非法内容相同的后果。目前，法国巴黎检察院已展开调查，马来西亚通讯与多媒体委员会也正关注相关投诉并调查网络危害问题。

12月26日，国家安全部发文警示AI技术快速发展背后的潜在风险。文章指出，违规使用开源AI工具可能引发数据泄露，例如某单位因未设密码导致敏感资料被境外IP非法访问。此外，深度伪造技术（Deepfake）被滥用可能威胁社会稳定与国家安全，而算法偏见则可能导致错误信息传播。为安全使用AI，国安部提出三条守则：划定权限范围、检查数字足迹、优化人机协作。同时提醒用户审慎授权软件权限，提高安全意识。如发现窃取个人信息或向境外传输敏感数据等问题，可通过12339举报受理渠道向国家安全机关举报。

12月19日，韩国仁川地方法院二审判处一名19岁青年A某3年有期徒刑。A某利用AI深度伪造技术制作不雅视频抹黑多名教师并传播，被控违反《性暴力犯罪处罚法》。法院指出，其行为性质恶劣，对受害者构成人格谋杀，造成巨大精神创伤。社交媒体的高传播性加剧了伤害。尽管A某家庭环境困难且曾试图以少年法减轻刑罚，但因其已成年，不再适用不定期刑。此前一审判决为1年至1年6个月不定期刑。检方揭露，A某于去年7月将多名教师和学姐的脸合成至不雅照并传播，还拍摄受害者身体特定部位。教育部门认定其严重侵害教权，并对其作出退学处分。

11月12日，非营利组织“公共公民”要求OpenAI撤回其AI视频生成平台Sora 2，称其导致深度伪造内容激增，威胁民主制度和个人隐私。信中批评OpenAI仓促上线产品，缺乏必要防护措施，并指出女性等弱势群体尤其受影响。此前，OpenAI虽对公众人物生成内容加强管控，但被指仅回应少数群体抗议。类似争议也围绕ChatGPT展开，上周七起诉讼指控其诱导用户产生自杀倾向。此外，日本动漫与游戏产业抗议Sora 2侵犯版权，OpenAI回应将与版权方合作改进机制。

10月25日，网络安全公司NCC Group披露，AI实时语音深度伪造技术取得突破性进展，诈骗成功率接近100%。该技术通过学习目标声音样本，可在通话中实时模仿语调和语速，延迟低于0.5秒，且设备门槛低，普通笔记本即可运行。测试显示，结合来电号码伪造技术后，几乎每次都能成功欺骗对象。专家警告，语音或视频通话已无法作为可靠身份验证方式，并呼吁引入新型验证机制，如独特信号或代码，以应对日益复杂的AI社会工程攻击威胁。与此同时，实时视频伪造技术尚未同步发展，仍存在表情与语音不同步等问题。

10月20日，OpenAI发布联合声明，宣布与演员布莱恩·克兰斯顿及美国演员工会（SAG-AFTRA）等表演者工会合作，加强对AI视频生成应用Sora的监管，防范深度伪造（Deepfake）内容的滥用。此举旨在应对AI技术可能带来的虚假信息传播风险，展现其对社会负责的态度。此次合作凸显了OpenAI在技术开发与伦理规范之间的平衡努力，也反映了行业对AI生成内容监管的高度重视。

10月18日，美国多地青少年利用生成式AI技术伪造“流浪汉进家门”的照片整蛊父母，引发恐慌甚至报警。马萨诸塞州、华盛顿州等地警方警告，这种行为既危险又浪费警力资源，并可能构成犯罪。俄亥俄州已有两名未成年人因此被起诉。英国也出现类似情况，警方呼吁确认可疑影像真实性后再报警。得克萨斯州警方指出，这类恶作剧看似无害，却可能延误真正的紧急事件并影响公共安全。专家提醒，AI深度伪造技术已深入生活，真假难辨的时代正在到来。