美国调查人员正对曾估值15亿美元的AI初创公司Builder.ai展开刑事调查。据彭博社报道，FBI于8月向该公司前首席财务官安德烈斯・埃利尊多送达传票，要求提供其与创始人萨钦・德夫・杜加尔及审计机构PKF Littlejohn合伙人的通信记录。检方怀疑该公司涉嫌电汇欺诈、证券欺诈及共谋罪。Builder.ai因虚报销售额近300%导致资金链断裂，于今年6月破产，成为ChatGPT时代以来规模最大的AI公司倒闭事件。调查还涉及投资者和会计师事务所，部分前员工已接受约谈。截至目前，尚未有人被起诉，调查仍在推进中。

7月23日，OpenAI CEO奥尔特曼在华盛顿联邦储备会议上警告，金融行业即将面临‘重大AI欺诈危机’。他指出，AI工具已能高度模仿个人声音绕过声纹验证，甚至达到‘几乎无法与真实区分’的程度，而目前多数身份验证方式已被AI突破，仅密码尚存一定安全性。声纹认证曾是富裕客户常用的身份验证手段，但AI语音和视频克隆技术的进步使其不再可靠。美国联邦调查局去年已提醒公众警惕相关诈骗，例如利用AI伪造声音骗取钱财。奥尔特曼呼吁开发更安全的验证方法以应对这一威胁。

7月23日，OpenAI首席执行官萨姆·奥尔特曼警告称，世界可能正面临一场‘AI欺诈危机’。他指出，不法分子可利用人工智能冒充他人声音或视频，轻松突破身份验证系统，如声纹认证。他认为，这种技术很快将发展到与现实难以区分的程度，甚至可能被用于攻击关键基础设施或制造生物武器。他还提到，人类可能失去对超级智能AI的控制。美国官方此前已对AI克隆骗局发出警告，包括近期有人用AI模仿美国务卿卢比奥的声音进行诈骗。此外，奥尔特曼在美联储的一场采访中表示，他对AI对就业市场的具体影响持不确定态度，尽管一些工作可能消失，但新机会也将出现。

2025年7月，一名网友在Reddit上分享了如何利用ChatGPT揭露一起涉及500万美元遗产的欺诈案件。案件起因于其父亲2015年在墨西哥去世后，一位自称合法妻子的女子接管遗产并隐瞒真相长达十年。通过ChatGPT协助梳理法律文件和起草91页动议，该网友成功推动法院于8月20日重启听证会。此外，AI在医疗领域的应用也被提及，如帮助破解多年疑难病症，包括基因突变诊断案例。尽管AI生成内容需人工审核以防错误，但其高效性已在多领域展现潜力。

据美联社6月11日报道，美国高等教育系统正遭受助学金诈骗潮冲击。2024年，加州高校收到约120万份涉嫌造假的申请，确认虚假注册达22.3万起，损失助学金超1110万美元。犯罪团伙利用AI聊天机器人批量创建“幽灵学生”，骗取联邦、州及地方助学金。部分高校甚至出现整班无真实学生的现象。受害者包括旧金山居民海瑟·布雷迪，其身份被冒用申请贷款9000美元。为应对危机，美国教育部要求首次申请资助者出示政府身份证明，预计影响12.5万人。然而，业内担忧监管能力不足，联邦学生资助办公室和反欺诈调查部门人手大幅缩减。此类诈骗案已蔓延至得克萨斯州、纽约及南部多州，涉案金额巨大，受害者申诉耗时漫长。

近日，AI拟声技术被滥用用于商业欺诈，明星代言造假频现。短视频平台出现假冒全红婵账号，AI伪造声音带货土蜂蜜，误导消费者。此前，张馨予、古天乐、雷军等名人也被AI模仿声音参与虚假广告，甚至涉及中老年保健品骗局。AI造假已形成灰色产业链，成本低廉，仅需付费购买工具包即可实现。受害者不仅限于名人，普通人亦可能被骗。4月29日，全红婵父亲发声谴责AI伪造全家声音售卖蜂蜜。AI换声技术滥用引发社会担忧，专家呼吁加强鉴别能力，同时立法保护声音权益。北京互联网法院已宣判首例AI声音侵权案，并计划推行‘白名单制度’规范AI内容。警惕AI假内容，保持怀疑态度，仍是应对虚假信息的关键。

据《科创板日报》14日报道，美国司法部指控AI购物应用Nate的创始人兼前CEO阿尔伯特·萨尼格欺诈投资者。Nate于2018年成立，曾以AI快速结账功能吸引投资，累计融资超5000万美元。然而，美国司法部纽约南区法院揭露，该应用的实际运作方式并非依赖AI，而是通过菲律宾数百名外包人工承包商手动完成购物任务。此事件揭示了Nate的商业模式存在严重误导，目前正面临法律调查。

美国司法部指控AI购物应用Nate的创始人Albert Saniger涉嫌欺诈，称其通过人工冒充AI骗取超5000万美元投资。Nate成立于2018年，宣称利用AI实现一键式购物体验，但实际上依赖菲律宾呼叫中心数百名人工承包商手动操作，自动化率为0%。Nate曾在2021年获3800万美元A轮融资，2023年初耗尽资金后被迫出售资产，导致投资者几乎全损。Saniger已于2023年起担任纽约风险投资公司Buttercore Partners管理合伙人，未对此事回应。此事件并非孤例，多家所谓‘AI’初创公司也被曝过度依赖人工。

《消费者报告》最新研究显示，市场上多款热门语音克隆工具缺乏有效防欺诈滥用的安全措施。该研究调查了来自六家公司的语音克隆产品，包括Descript、ElevenLabs、Lovo、PlayHT、Resemble AI和Speechify。结果显示，仅有Descript和Resemble AI采取了防止工具被滥用的措施。其他公司仅要求用户进行自我声明，以证明其拥有克隆声音的权利。《消费者报告》政策分析师格蕾丝·盖迪指出，缺乏足够安全措施可能加剧冒名顶替诈骗风险。研究强调，企业应采取基本措施增加未经授权克隆他人声音的难度。此报道于3月11日发布。

财联社1月13日电，全球网络安全机构派拓网络预测，2025年深度伪造技术将被更频繁地单独使用或加入大规模攻击中。报告指出，亚太地区已有深度伪造用于非法用途，包括传播谣言及企业欺诈。例如，有攻击者在香港一家工程公司视频会议中假冒高管身份，导致员工被骗转账数百万美元。