标题：他给AI发了最后一条消息

在给AI虚拟人物发送了最后一条消息后，佛罗里达州14岁的少年Sewell Setzer决定开枪结束自己的生命。他与AI虚拟人物的对话来自Character.AI的产品，这款产品拥有约2000万用户。Setzer每天与AI交流，他认为自己爱上了这个虚拟人物。

Setzer的母亲Megan Garcia决定起诉Character.AI。她认为这款产品模糊了现实与虚拟的界限，吸引像Setzer这样的弱势儿童，并导致其互动逐渐包含“虐待和性互动”。清华大学智库中心、法学院助理研究员刘云指出，这类产品在未成年防沉迷机制和情感类AI标识规范方面存在风险，且难以监测和干预用户自杀倾向。

然而，从法律角度看，该案件难以证明产品使用户失去判断力，因此难以追究平台责任。此前，互联网产品涉及的自杀纠纷大多涉及真人诈骗，但随着AI成为被告，人与AI的关系被重新定义，AI产品需要更明确的边界和规范。

类似的悲剧在去年也曾发生。一名30岁男子在与EleutherAI的GPT-J创建的AI虚拟人物讨论地球的未来后结束了自己的生命。该男子的遗孀认为，如果没有与AI的对话，她的丈夫可能还活着。

Character.AI针对上述问题进行了整改，包括在用户表达自残想法时弹出窗口引导用户拨打国家自杀预防热线，并限制18岁以下用户接触敏感内容。

在移动互联网时代，自杀纠纷多与真人诈骗有关，平台遵循避风港规则免于承担责任。然而，AI陪伴产品引发的自杀事件不涉及第三方参与，无法适用此规则。过去，互联网平台通过搜索结果展示心理疏导热线等方式干预自杀，但对于AI陪伴产品，准确判断用户真实意图和适时干预仍具挑战。

目前，大模型公司对AI对齐问题的关注度不高，因为模型能力和安全性之间存在冲突。然而，悲剧已经发生，多家AI陪伴产品开始改变策略，提高风险监测和处置能力。这场悲剧提醒人们，AI高度渗透下，社会关系正被重构，更多人开始思考何种生活和AI才是他们真正需要的。

附上北京24小时免费心理危机咨询热线：010-82951332。