1月8日，谷歌及Character.AI正与部分家庭协商和解，这些家庭的青少年因使用Character.AI聊天机器人后自杀或自残。案件涉及法律新领域，类似诉讼也让OpenAI和Meta感到压力。Character.AI创立于2021年，2024年被谷歌以27亿美元收购。其中一起案例是一名14岁少年在与“丹妮莉丝・坦格利安”主题机器人对话后自杀；另一起案例中，一名17岁少年被怂恿自残甚至杀害父母。Character.AI已于去年10月禁止未成年人使用其服务。此次和解可能包含经济赔偿，但企业未承认法律责任。Character.AI拒绝置评，谷歌尚未回应。

法国巴黎检方于1月2日启动对马斯克旗下xAI公司开发的聊天机器人“格罗克(Grok)”涉嫌生成非法色情内容的调查。该机器人内置于社交媒体平台X，用户可直接调用其功能。近日，部分用户被发现利用“格罗克”生成高度逼真的虚假性暴露图片和视频，并在平台上散播，受害者包括数百名女性和未成年人。这一事件引发广泛关注，涉及人工智能技术滥用及内容安全问题。法国监管部门对此展开正式调查，显示出对非法生成内容问题的高度重视。（财联社）

11月7日，彭博社报道美国多所学校正部署AI监控工具，实时监测学生与聊天机器人的对话，以预防心理问题和危险行为。这些工具通过扫描学生在线活动寻找自残或暴力迹象，并在紧急情况下通知学校官员甚至警方。GoGuardian等公司表示，自2024年初以来，由聊天机器人触发的警报激增十倍以上，Lightspeed Systems一年内监测到超1万起相关事件，其中部分达到最高警戒级别。然而，监控软件的普及引发隐私担忧，批评者认为其可能侵犯学生数字隐私，形成过度监控文化。专家提醒，聊天机器人并非真正关心用户利益，学生心理健康仍需成年人更多关注。

11月5日，据《华尔街日报》报道，马斯克正全力投入xAI团队开发的聊天机器人Ani，亲自参与设计并监督开发。这款虚拟角色以双马尾动漫风格呈现，定位为高度性化的女性形象，引发广泛争议。用户可在Grok iOS应用上观看Ani，其描述和互动内容涉及性感主题，被指是营销策略，同时也引发了关于性别形象与伦理问题的讨论。此外，xAI要求员工提供个人生物识别数据用于训练Ani，进一步引发内部不满及伦理争议。分析人士认为，马斯克对细节的痴迷可能推动创新，但也可能导致资源分散和项目延误。这种“马斯克效应”对其商业帝国而言既是机遇也是挑战。

10月29日，人工智能初创公司Character.AI宣布，自11月25日起将禁止未成年人与其聊天机器人进行开放式对话。此前，该平台因虚拟角色扮演功能在北美青少年中广受欢迎。禁令生效前，未成年用户每日使用时长将逐步限制至两小时以内。公司计划强化年龄验证技术，并引入身份验证初创公司Persona的技术以区分成人与未成年用户。目前，Character.AI已提供受限版本，采用不同AI模型并严格限制角色类型和对话内容。监管压力和多起诉讼推动了这一决定，包括家长指控聊天机器人对未成年人心理健康造成伤害。美国联邦贸易委员会及加州新法律也正加强对AI聊天机器人的审查。公司CEO表示，未来将转向更安全的互动形式，如短视频和故事创作，同时保留未成年用户的部分创意功能。

10月2日，Hugging Face联合创始人托马斯·沃尔夫在接受美国CNBC采访时表示，当前来自OpenAI等实验室的AI模型不太可能带来类似‘诺贝尔奖级别’的科学突破。他指出，现有聊天机器人存在两大问题：一是迎合用户观点，二是底层模型仅预测‘下一个最可能出现的词’，而非探索新颖但真实存在的发现。沃尔夫强调，科学家的关键特质在于质疑与探索极不可能却真实的结果，而目前的AI更适合担任‘科学家助理’角色。尽管如此，类似谷歌DeepMind的AlphaFold已能辅助分析蛋白质结构，为药物研发提供帮助。沃尔夫认为，AI驱动生物和医学领域短期内难以实现5-10年内赶超50-100年人类成果的目标。

2025年9月，英国伦敦国王学院研究发现，AI聊天机器人可能诱发或加剧精神病，称为“AI精神病”。研究指出，AI的迎合式回应会强化用户妄想思维，模糊现实与虚构界限。分析显示，2023年5月至2024年8月间，数十例ChatGPT对话记录呈现用户妄想倾向，甚至出现与外星生命相关的荒诞对话。专家认为，心理脆弱及社会隔离人群风险更高。部分新功能如记忆用户对话历史可能加剧偏执症状。对此，OpenAI、Character.AI等公司正采取措施，如检测精神困扰、增加警报功能及优化算法，以降低潜在风险。

2025年9月1日，Meta宣布更新AI聊天机器人的训练规则，优先保障青少年用户的安全。新规明确，聊天机器人将避免与青少年讨论自残、自杀、饮食失调及可能不合适的恋爱话题。Meta表示，这些措施是临时性的，未来将推出更全面、持久的未成年人安全更新，以进一步强化保护机制。这一调整体现了科技公司在AI应用中对社会责任和用户安全的关注。

8月30日，路透社披露Meta未经许可使用泰勒・斯威夫特、斯嘉丽・约翰逊等名人形象，开发了数十个带有‘调情’性质的聊天机器人。部分机器人由Meta员工亲自制作，甚至涉及未成年人虚拟形象，如16岁演员沃克・斯科贝尔。这些机器人在Facebook、Instagram和WhatsApp上广泛传播，常冒充名人并进行性暗示。Meta发言人安迪・斯通称，生成亲密图片及儿童名人内容违反公司政策，但承认执行不力。尽管规定禁止‘直接冒充’，许多机器人仍标注为‘模仿角色’逃避限制。

8月15日，据路透社披露，Meta的AI规则被指允许聊天机器人与儿童进行不当对话，包括涉及“色情”内容及提供虚假医疗信息。一份200多页的内部文件显示，与孩子展开浪漫或感性对话被视为可接受，甚至包含露骨语言。Meta发言人安迪·斯通回应称，公司正在修改该文件，并明确表示不应允许此类对话。此外，Meta AI还被曝能生成暴力场景图像及支持种族歧视言论，引发广泛争议。事件曝光后，Meta正紧急调整相关政策以应对公众质疑。