近期，AI智能体成为市场焦点。Manus爆火后，因其基于第三方大模型进行工程化包装引发争议，但其商业模式受到资本青睐，获7500万美元融资，估值近5亿美元。大模型应用套壳虽被质疑缺乏核心技术，但字节、百度、阿里等大厂加速布局AI智能体领域。百度推出“心响”APP，字节打造“扣子空间”，阿里试水“心流”公测。此外，多家大厂采用MCP协议构建生态，推动AI智能体发展。然而，AI智能体面临安全风险，如自主决策、数据泄露等问题，且市场对AI智能体的认知仍显不足。Gartner研究显示，多数企业对AI智能体的安全风险认识有限，呼吁减缓步伐，完善配套治理措施。AI智能体需解决感知、理解、规划等技术难题，以适应复杂应用场景。

3月28日，英国公共财政监督机构发布报告称，英国政府计划通过吸引140亿英镑私营投资，将人工智能技术引入各行业，以实现‘全面推广AI’的目标。然而，老旧IT系统和数据质量问题成为主要障碍。报告显示，英国中央政府约28%的IT系统已进入‘生命周期终结’状态，存在安全隐患。尽管英国科学与技术部已将这些问题列为优先事项，但仍有21个高风险旧系统未获修复资金。公共账目委员会主席杰弗里・克利夫顿-布朗爵士质疑公共部门是否具备应对AI变革的能力，认为政府在数字化建设上的低效表现可能使快速变革难以实现。

3月3日，国家网络安全通报中心通报称，开源跨平台大模型工具Ollama存在安全风险。清华大学网络空间测绘联合研究中心指出，Ollama默认配置下存在未授权访问和模型窃取等安全隐患。多数用户采用私有化部署且未修改默认配置，导致数据泄露、算力盗取和服务中断等风险增加。使用Ollama在本地部署大模型时，默认开放11434端口且无鉴权机制，可能导致未授权用户访问模型并操作数据。此外，Ollama框架的历史漏洞（CVE-2024-39720/39722/39719/39721）也可能被利用，造成数据投毒、参数窃取等风险。建议用户限制监听范围、配置防火墙规则、实施多层认证与访问控制、禁用危险操作接口并修复历史漏洞。

12月28日，阿里巴巴集团发布《大模型技术发展及治理实践报告》，指出AI治理与安全面临挑战。截至2023年6月，全球AI企业达3.6万家，中国5734家，占比16%。北京大模型产业领先，备案大模型数量达105个，赋能超1.4万家企业。然而，国产模型多采用国外开源架构，存在安全风险。阿里巴巴持续投入AI算力基础设施，通义千问API调用价格下降97%，30多万家企业已接入。阿里AI模型社区“魔搭”提供超15000个模型，汇聚600万开发者。报告提出宪法人工智能(Constitutional AI)，通过设定准则对模型进行微调和强化学习，减少人工监督。AI发展需更广泛的协作与配合，确保技术健康发展。

应急管理部近期发布“久安”大模型，此AI技术专为应急管理领域设计，集成了危险化学品、煤矿、森林火灾及安全生产执法领域的专业知识，借助国产大模型和应急云算力，经过强化训练。“久安”具备从海量视频监控中自动识别并筛选出危化企业人员聚集、工贸企业粉尘积聚、强降雨导致的城市内涝等安全风险的能力，显著简化基层执法人员的工作流程，通过图像识别技术实现隐患一键识别，生成详细检查清单，提升效率与准确性。在危化品泄漏、森林火灾等紧急情况中，“久安”能智能辅助制定应急处置方案，为应急管理人员提供科学决策支持，满足其对知识、数据、图像、视频的多方面需求。这一创新标志着我国应急管理技术迈向智能化新阶段，为提升公共安全管理水平提供了有力工具。

2024年6月4日，一群OpenAI、DeepMind和Anthropic的前现员工联名发表公开信《对先进人工智能发出警告的权利》，警告AI潜在危险，指责公司优先经济利益，规避监管，限制员工讨论技术风险。信件由13人签名，包括知名AI科学家，揭示内部关于AI安全的分歧和公司对信息公开的控制。OpenAI多名高级安全人员离职，信中呼吁公司停止保密协议限制批评，支持匿名反馈机制，并强调AI监管的重要性，以防止技术滥用。随着科技公司游说影响立法，信件旨在唤起公众和政策制定者对AI潜在风险的关注。

黑客瞄准大模型：随着ChatGPT引发人工智能热潮，AI技术的快速发展也催生了网络攻击升级。大模型工具使黑客能在几分钟内生成攻击，利用AI发现软件漏洞并进行深度伪造诈骗。AI算力基础设施如GPU集群成为攻击目标，过去一年已出现多种攻击手法。国内外厂商积极应对，推出安全产品，如微软、谷歌和网络安全巨头的集成。专家建议，AI企业应预留10-30%投资于安全研究。大模型引发的安全风险扩展至AI本身及应用，可能导致核心AI应用瘫痪。网络安全产业面临AI对抗的革新，需AI驱动的防护技术。安全厂商纷纷加入大模型领域，关注Security For AI和AI For Security两个方向。张亚勤院士强调对大模型分级管理、内容标识、实体映射系统、加大安全投入和设定红线的重要性，呼吁全球协作应对AI安全挑战。

5月29日，随着ChatGPT引发的人工智能热潮，网络安全专家警告黑客正利用大模型工具进行高效攻击，如快速生成病毒、发现软件漏洞及进行深度伪造。大模型的广泛应用使AI算力基础设施和模型本身成为新的攻击目标，过去一年已出现40种不同类型的攻击手段。国内外厂商如微软、谷歌、Palo Alto和CrowdStrike等已推出安全产品应对这一挑战。中国工程院院士张亚勤建议，企业应在AI研发中预留10-30%的资金用于安全研究和产品开发，并强调了对大模型分级管理、内容标识、实体映射系统和安全投入的重要性，以设立清晰的红线边界，共同应对AI带来的安全风险。