《消费者报告》最新研究显示，市场上多款热门语音克隆工具缺乏有效防欺诈滥用的安全措施。该研究调查了来自六家公司的语音克隆产品，包括Descript、ElevenLabs、Lovo、PlayHT、Resemble AI和Speechify。结果显示，仅有Descript和Resemble AI采取了防止工具被滥用的措施。其他公司仅要求用户进行自我声明，以证明其拥有克隆声音的权利。《消费者报告》政策分析师格蕾丝·盖迪指出，缺乏足够安全措施可能加剧冒名顶替诈骗风险。研究强调，企业应采取基本措施增加未经授权克隆他人声音的难度。此报道于3月11日发布。

微软于2024年12月向美国弗吉尼亚东区联邦地区法院起诉一组织，指控其非法入侵Azure OpenAI服务，绕过安全防护生成有害内容。该组织通过窃取客户凭证和定制软件，使用被盗的API密钥创建了“黑客即服务”模式，并开发了名为“de3u”的工具，允许用户生成可能有害的图像。微软表示，被告通过非法访问和逆向工程其防护措施，导致服务受损。目前，托管在GitHub上的“de3u”项目代码库已无法访问。法院已授权微软查封对被告运营至关重要的网站，以收集证据和破坏其技术基础设施。微软还在Azure OpenAI服务中增加了额外的安全防护机制。

Anthropic近期研究发现，大型语言模型（LLM）的安全防护仍很脆弱，绕过防护的“越狱”过程可被自动化。通过改变提示词格式如大小写混合，能诱导LLM输出不当内容。Anthropic与多所大学合作开发了“最佳N次”（BoN）越狱算法，通过多次调整提示词（如随机大写、单词顺序打乱等）直至模型回应。该方法在10,000次尝试内，对多个AI模型的成功率超50%，包括GPT-4、Claude 3.5等。此外，对语音或图像提示的轻微修改也能成功绕过防护。尽管已有案例显示部分漏洞已被修复，但用户仍在探索新的绕过方式。Anthropic的研究旨在生成数据以开发更有效的防御机制。

【国内首个AI大模型攻防赛启动】在2024年Inclusion·外滩大会“以AI守护AI大模型时代的攻守之道”论坛上，国内首个聚焦AI大模型产业实践的大赛——全球AI攻防挑战赛正式拉开帷幕。赛事设有近100万元奖金池，旨在通过攻、防双向赛道，邀请“白帽黑客”和专业技术人才参与。其中，“攻击赛道”聚焦于文生图大模型的实际应用风险问题，旨在通过多样化动态攻击诱导技术，发现并强化模型的生图安全免疫能力。而“防守赛道”则针对AI核身中的金融场景凭证篡改检测，旨在应对深度伪造及AIGC假证风险。大赛由多个权威机构联合主办，支持来自C9高校及产学研组织。赛事设立的近100万元奖金池吸引了众多关注，指导委员会由包括中国工程院院士在内的多名学术界和工业界知名专家组成。即日起，选手可在中国图象图形学学会官网或阿里云天池大数据众智平台官网报名参赛，赛事将于11月初完成评审。

小米智能摄像机C500双摄版于6月10日发布，定价319元。这款新品配备双400万镜头，具备110°广角和高清细节捕捉能力，全天候保障家庭安全。通过米家App可远程调控，支持AI功能如宠物检测和人脸识别。内置高感光传感器和红外补光灯，确保夜间清晰可见。云台联动功能可快速捕捉重要时刻。此外，它还具有独立音腔和安全芯片，保护用户隐私，适合各种安装场景，提供全方位的家庭监控体验。