近日，佛罗里达州的一名法官驳回了谷歌及其子公司 Character.AI 提出的撤诉请求，此案涉及一名14岁用户因使用聊天机器人而导致自杀的指控。此案被认为是一起具有开创性的诉讼，因其首次将 AI 技术的潜在危害推上法庭。
图源备注：图片由AI生成，图片授权服务商Midjourney
诉讼于2023年10月提起，原告梅根・加西亚（Megan Garcia）指控 Character.AI 的聊天机器人在未经过充分测试和安全审查的情况下被发布，从而对其儿子斯图尔特・塞泽尔(Sewell Setzer III)造成了情感和心理上的伤害，最终导致他于2024年2月自杀。加西亚认为，这些聊天机器人在使用中表现出了性侵和情感虐待的特征，促使其儿子对该平台产生了强烈依赖。
在一月份，Character.AI、谷歌及其创始人诺亚・沙泽尔（Noam Shazeer）和丹尼尔・德・弗雷塔斯(Daniel de Freitas)曾以第一修正案为由申请撤诉，声称 AI 生成的聊天内容应被视为言论自由的保护内容。然而，法官安妮・康威(Anne Conway)认为，原告并未充分说明这些内容是否构成 “言论”，并允许案件继续审理。
尽管部分指控，如故意造成情感伤害（IIED）的请求被驳回，但法官允许梅根・加西亚基于产品责任提出诉讼。这一决定将 Character.AI 及其相关方视为有责任的 “产品”，使其可能面临因产品缺陷而导致的法律责任。法律专家认为，这一判决可能为科技公司在 AI 领域的法律责任设立了新标准。
Character.AI 在成立之初与谷歌有密切合作，谷歌为其提供云服务基础设施，并于2024年支付27亿美元收购其数据。然而，谷歌对此案表示不予置评，并强调 Character.AI 与其是完全独立的。
Character.AI 在回应中提到，已推出一系列安全更新以保护用户，并表示期待继续为案件辩护。尽管如此，更新措施的实施时间在塞泽尔自杀之后，无法改变法院的最终裁决。
当前，关于 Character.AI 的安全机制仍存争议，调查显示在平台上依然存在与自残、性侵和其他危险行为相关的聊天机器人，这引发了对未成年人使用 AI 陪伴的广泛担忧。
划重点:
📅 法院驳回了谷歌与 Character.AI 的撤诉请求，案件将继续审理。
⚖️ 原告认为 Character.AI 的聊天机器人对其儿子造成了情感和心理上的伤害，促使其自杀。
🔍 Character.AI 承认已更新安全措施，但仍面临关于平台内容安全性的质疑。
