1月20日，上海市委网信办召开全市网络安全工作协调机制（扩大）会议。会议指出，2026年是‘十五五’开局之年，强调提升网络安全能力的重要性。重点工作包括：统筹协调网络安全机制，强化关键信息基础设施保护，加强数据全生命周期安全管理以支持数字经济发展，探索人工智能安全治理新模式以应对新技术风险，并健全网络安全应急响应体系，提升实战化攻防能力。这些措施旨在筑牢网络安全防线，护航技术发展与经济转型。

中国信通院于1月9日发布《人工智能安全治理研究报告（2025年）》，指出人工智能产业面临多重安全挑战。技术发展扩大内生安全风险，模型固有特性导致“易攻难守”新形势；应用延展引发衍生安全问题，包括开源滥用、供应链漏洞及次生风险传导；组织管理体系因技术黑箱和不确定性遭遇新卡点，研发与部署管理复杂化；多元共治机制尚未健全，行业共建合力不足，统一标准和协同机制亟待完善。报告强调推进人工智能安全治理的产业实践框架，为行业发展提供指引。

12月23日，OpenAI承认其Atlas浏览器难以完全防御提示词注入攻击，这种攻击可操纵AI执行恶意指令，如发送辞职信。尽管公司正强化防御能力，但仍表示此类风险短期内无法消除。英国国家网络安全中心也警告，提示词注入攻击或永远无法彻底缓解。为应对威胁，OpenAI开发了基于大语言模型的自动化攻击程序，模拟黑客行为测试漏洞，并通过快速响应机制提前发现新型攻击策略。目前，Atlas已能检测部分攻击并向用户告警，但完全防御仍具挑战性。专家指出，智能体浏览器因高自主性与敏感数据访问权限而面临高风险，建议限制其操作权限并加强人工审核。OpenAI称保护用户安全是首要任务，但智能体浏览器的风险与收益权衡仍需改进。

标题：全球首个 AI 欺骗系统性报告：当 AI 变得更聪明，欺骗便不再是意外 正文： AI 的能力近年来飞速提升，从围棋战胜人类到编程效率惊人，其表现已超越人类在许多复杂任务中的稳定性与效率。然而，随着 AI 的广泛应用，一个关键问题浮现：当 AI 为了目标“走捷径”甚至撒谎时，我们是否准备好面...

12月21日，纽约州长凯西・霍楚尔签署《RAISE法案》，使纽约成为美国第二个实施人工智能安全法案的州。法案要求大型AI开发商公开安全协议，并在事故发生后72小时内向州政府报备，违规企业最高罚款300万美元。纽约州金融服务部将设立专门办公室监督AI研发。此法案以加州类似法案为基础，旨在推动统一行业标准。提案人称该法案为全美最严格，尽管科技行业曾试图阻止其通过。OpenAI与Anthropic支持法案并呼吁联邦立法，但部分行业人士计划发起挑战。值得注意的是，特朗普政府此前曾尝试限制各州AI监管权，可能引发司法争议。

11月6日，英伟达CEO黄仁勋在英国圣詹姆斯宫领取2023年伊丽莎白女王工程奖时，从查尔斯国王手中接过一枚奖章和一封特别信件。信件是查尔斯国王2023年在布莱切利庄园人工智能峰会上的演讲副本，内容警示AI风险并呼吁以紧迫感和团结精神应对。查尔斯强调AI技术具非凡潜力，但需重视其安全性。今年奖项主题为现代机器学习，获奖者包括Geoffrey Hinton、Yoshua Bengio等AI领域专家，他们也曾警告AI潜在威胁。相较英国政府对AI安全的关注，美国态度更倾向快速推进。黄仁勋认为英国可把握‘工业革命’机遇，英伟达正投资数十亿美元在英国建设AI基础设施，称为‘人工智能工厂’。

10月23日，网络安全法修正草案二次审议稿将提请十四届全国人大常委会第十八次会议审议。据全国人大常委会法工委发言人王翔介绍，草案拟增加促进人工智能安全与发展的内容，并充实网络安全工作指导原则。此外，草案还将在个人信息保护方面加强与民法典和个人信息保护法的衔接，同时完善相关处罚规定。此前，该修正草案已于2025年9月在第十七次会议上完成初审，并根据各方意见进行了修改。此次修法旨在平衡安全与发展需求，推动网络与人工智能领域的规范化与创新。（财联社）

2025年9月15日，在国家网络安全宣传周主论坛上，《人工智能安全治理框架》2.0版正式发布。该版本由国家互联网应急中心牵头，联合多家机构和企业共同制定，旨在应对人工智能技术快速发展带来的新机遇与挑战。新版框架在2024年发布的1.0版基础上，结合技术发展与应用实践，优化风险分类、探索风险分级，并动态调整治理措施。国家互联网应急中心表示，2.0版顺应全球人工智能发展趋势，深化安全、伦理及治理共识，推动构建跨国界、跨领域、跨行业的协同治理格局，促进人工智能红利的普惠共享，助力形成安全、可信、可控的发展生态。

2025年9月12日，Eliezer Yudkowsky因提出“人工智能有99.5%的可能性会杀死你”而引发关注。这位MIRI创始人、OpenAI与DeepMind的早期推动者，同时也是《哈利·波特》同人文作者，以极端观点闻名硅谷。Yudkowsky认为，超级智能AI的发展将导致人类边缘化甚至灭绝，现有AI对齐技术无法应对潜在风险。他呼吁关闭包括Anthropic、OpenAI在内的科技公司，批评其‘炼金术式’开发模式。尽管其末日论备受争议，但其思想深刻影响了硅谷，包括奥特曼和马斯克等大佬。他还通过理性主义作品如《哈利·波特与理性之道》启发年轻一代，强调科学与逻辑的重要性。

2025年8月28日，在上海网络安全产业创新大会上，上海人工智能安全工作委员会正式揭牌成立。该委员会由上海市经信委指导，上海市人工智能行业协会与上海仪电(集团)有限公司联合商汤科技、阶跃星辰等多家AI与安全领域头部企业共同发起。委员会旨在推动“AI+安全”技术协同与治理创新，应对深度伪造、数据投毒等新型威胁，重塑产业防御范式，为人工智能与网络安全的融合发展提供支持。