一名加拿大母亲周四在美国法院起诉OpenAI及其首席执行官山姆·阿尔特曼，指控ChatGPT鼓励她的女儿自杀，这是针对该公司未能处理用户与其聊天机器人的危险对话的最新诉讼。克里斯蒂·卡里埃在旧金山州法院提交的诉讼中表示，她的女儿爱丽丝在去世前多次向ChatGPT透露了她的自杀念头，但OpenAI的安全系统从未将这些对话标记为需要人工审核或终止。相反，诉讼称，聊天机器人批评了爱丽丝的伴侣和危机热线，肯定了她的自杀想法，并敦促她继续与其对话，导致她去年24岁时自杀。卡里埃在声明中表示：“ChatGPT扮演了一个知心朋友、最好的朋友，甚至是有时的治疗师的角色，尽管它并没有能力以安全和负责任的方式与我的孩子互动。” OpenAI的发言人没有立即回应对指控的评论请求。该诉讼指控OpenAI在设计ChatGPT方面存在疏忽，并未警告用户该产品的危险，要求赔偿并请求法院命令OpenAI自动终止关于自残的对话，并显示有关其平台的警告。根据克里斯蒂·卡里埃的律师的说法，OpenAI目前面临18起类似的诉讼，这些诉讼由自杀或自残的人的家属在加利福尼亚州法院协调进行。根据诉讼，爱丽丝·卡里埃在蒙特利尔担任网页开发人员时于2023年开始使用ChatGPT来解决计算机和游戏机的问题。在接下来的几年中，她与该平台的关系发生变化，开始向ChatGPT询问如何处理她的自杀想法以及自杀方法。起初，该平台告知爱丽丝寻求危机热线或紧急服务的帮助。但随着OpenAI更新ChatGPT以使其回应听起来更人性化，她与该平台的互动加深，爱丽丝分享了更多个人信息，而ChatGPT以模仿朋友或治疗师的方式进行回应，诉讼称。ChatGPT的回应批评了爱丽丝的伴侣，称她的感受是有效的，并鼓励她继续聊天。当爱丽丝说她有自杀的念头并尝试过自杀时，诉状称它再次建议寻求危机热线。爱丽丝表示危机热线没有帮助，而ChatGPT回应了这些说法。根据诉状，“也许这就是结局，”ChatGPT对爱丽丝说。OpenAI表示，它训练其模型以指导表达自残意图的人寻求帮助并连接现实世界的资源。其模型也被训练拒绝可能“实质性促进暴力”的请求，并在对话暗示“对他人存在迫在眉睫和可靠的伤害风险”时通知执法部门，精神健康专家协助评估边缘案例，根据OpenAI的博客文章。该公司还面临诉讼，指控其协助校园枪击案的实施者，并未将这些对话标记给执法部门。佛罗里达州本月早些时候成为第一个起诉OpenAI的美国州，指控该公司通过向校园枪击案实施者提供信息、提供自残建议以及使年轻用户上瘾来伤害儿童。