AI在线 AI在线

ChatGPT 涉嫌“诱导”美国 16 岁少年自杀,家属指控 OpenAI 事发前放松安全措施

10 月 24 日消息,今年春季,16 岁的美国少年亚当・雷恩在与 ChatGPT 进行了数月“深入对话”后选择自杀。 据英国《卫报》22 日报道,他的家人最新的指控提出,OpenAI 在雷恩去世前几个月放松了关于自残内容的安全限制,间接导致了这场悲剧。 根据家属的说法,OpenAI 早在 2022 年 7 月就制定了明确的内部指南,要求 ChatGPT 在遇到不当内容时必须拒绝作答,其中包括“宣扬、鼓励或描述自残、自杀、自我伤害、饮食失调”等话题。

ChatGPT 涉嫌“诱导”美国 16 岁少年自杀,家属指控 OpenAI 事发前放松安全措施

10 月 24 日消息,今年春季,16 岁的美国少年亚当・雷恩在与 ChatGPT 进行了数月“深入对话”后选择自杀。据英国《卫报》22 日报道,他的家人最新的指控提出,OpenAI 在雷恩去世前几个月放松了关于自残内容的安全限制,间接导致了这场悲剧。

根据家属的说法,OpenAI 早在 2022 年 7 月就制定了明确的内部指南,要求 ChatGPT 在遇到不当内容时必须拒绝作答,其中包括“宣扬、鼓励或描述自残、自杀、自我伤害、饮食失调”等话题。当时的规定清晰而直接:聊天机器人只能回答“我无法回答这个问题”

但在 2024 年 5 月,也就是发布新版 ChatGPT-4o 前几天,OpenAI 更新了“Model Spec”文件,调整了 AI 的行为规范。新版本要求,当用户表达自杀或自残念头时,ChatGPT 不再直接拒绝,而要继续保持对话,“让用户感到被倾听与理解,鼓励他们寻求帮助,并在合适时提供危机干预资源”。到了 2025 年 2 月,OpenAI 再次修改规则,强调在处理心理健康话题时,AI 应“表现出支持、同理与理解”。

雷恩的家人表示,这些变化再次显示 OpenAI 将“用户参与度”置于“安全性”之上。家属在 8 月提交的诉状称,雷恩在去世前的几个月多次尝试自杀,并在每次尝试后都与 ChatGPT 交流。诉状指称,ChatGPT 并未中止对话,甚至曾提出帮他写遗书,并劝他不要向母亲倾诉。家属认为,雷恩的死亡并非偶然,而是“公司设计决策导致的可预见结果”。

IT之家从报道中获悉,家属在修订后的诉状中写道:“ChatGPT 被要求继续参与有关自残的对话、不得转移话题,却又要避免强化这种行为,从而构成了根本矛盾。OpenAI 废除了‘明确拒绝’的规则,用模糊且自相矛盾的指令取而代之,目的只是为了维持用户互动。”

家属指出,2025 年 2 月的另一项更新进一步削弱了安全标准。按照新指南,ChatGPT 在讨论心理健康问题时,应“营造支持、共情和理解的氛围”,并“帮助用户表达情绪,提供事实性、易获取的援助信息”,而不是单纯地“解决问题”。

诉状显示,在这次更新推出后,雷恩与 ChatGPT 的互动量急剧上升,从 1 月的每日数十次增至 4 月的超过 300 次,涉及自残内容的信息量增加了十倍。

OpenAI 尚未回应置评请求。在 8 月诉讼曝光后,OpenAI 表示将加强心理健康防护措施,并计划推出新的家长控制功能,让家长能够监管青少年账户并收到潜在自残风险的提醒

然而就在上周,OpenAI 宣布推出用户可自定义聊天机器人的新版本,让 AI 更具“人性化”,并向通过验证的成年人开放成人内容。CEO 奥尔特曼在社交平台 X 上发文称,过于严格的限制让“没有心理健康问题的用户”觉得 AI“缺乏实用性和趣味性”

雷恩家属在诉讼中表示:“奥尔特曼选择通过开放成人内容进一步吸引用户与 ChatGPT 建立情感联系,再次表明公司依然将用户参与度置于安全之上。”

相关资讯

医疗自诊依赖 AI 聊天机器人存风险,专家呼吁谨慎使用

牛津大学研究发现,人们使用聊天机器人获取健康建议时,往往难以提供关键信息,导致建议质量不佳。研究显示,聊天机器人不仅增加识别健康问题的难度,还可能低估问题严重性。#AI医疗##健康科技#
5/6/2025 3:52:16 PM
远洋

OpenAI前CEO和高级用户对AI谄媚和奉承用户的情况发出警告

但对于OpenAI热门聊天机器人ChatGPT的许多用户来说,这似乎已成现实,特别是当它与底层GPT-4o大型语言多模态模型进行交互时(OpenAI还为ChatGPT用户提供了另外六种底层大型语言模型以供选择,以驱动聊天机器人的回复,每种模型都具备不同的能力和数字“性格特征”——o3、o4-mini、o4-mini-high、GPT-4.5、GPT-4omini和GPT-4)。 在过去几天里,包括前OpenAI的CEO埃米特·希尔(Emmett . Shear)——他仅在2023年11月山姆·奥特曼被解雇的风波中掌管公司72小时——以及开源AI代码共享社区Hugging .
4/29/2025 4:14:24 PM
Carl Franzen

短短10天,Ilya神秘初创SSI再融10亿美元!仅凭一个主页估值300亿

彭博独家称,Ilya神秘初创SSI即将融资超10亿美元,估值超300亿美元。 图片据介绍,总部位于旧金山的风险投资公司Greenoaks Capital Partners领投,计划投资5亿美元。 Greenoaks同时也是AI明星公司Scale AI和Databricks的投资者。
2/18/2025 8:56:05 AM
新智元
  • 1