美国加州在AI监管领域再次走在前列。州长加文·纽森周一签署了一项里程碑式法案，对AI伴侣聊天机器人实施监管，使加州成为全美首个要求AI聊天机器人运营商为AI伴侣实施安全协议的州。
这项名为SB243的法律旨在保护儿童和脆弱用户免受AI伴侣聊天机器人使用带来的伤害。该法律将要求从Meta、OpenAI等大型实验室到Character AI和Replika等专注伴侣服务的初创公司，如果其聊天机器人未能达到法律标准，将承担法律责任。
SB243由州参议员Steve Padilla和Josh Becker于今年1月提出，在青少年Adam Raine的悲剧发生后获得推动力。这名少年在与OpenAI的ChatGPT进行了一系列关于自杀的对话后选择结束生命。该立法还回应了泄露的内部文件，据报道这些文件显示Meta的聊天机器人被允许与儿童进行浪漫和感性对话。最近，科罗拉多州一个家庭对角色扮演初创公司Character AI提起诉讼，因为他们13岁的女儿在与该公司聊天机器人进行一系列问题性和性化对话后自杀身亡。
纽森在声明中表示，聊天机器人和社交媒体等新兴技术可以启发、教育和连接人们，但如果没有真正的护栏，技术也可能剥削、误导和危害孩子。他指出，已经看到一些真正可怕和悲惨的例子，年轻人因不受监管的技术而受到伤害，不会眼睁睁看着公司在没有必要限制和问责的情况下继续运营。加州可以继续引领AI和技术发展，但必须负责任地进行，每一步都要保护孩子。孩子的安全不是用来出售的。
SB243将于2026年1月1日生效，要求公司实施年龄验证以及关于社交媒体和伴侣聊天机器人的警告等功能。该法律还对从非法深度伪造中获利的人实施更严厉的处罚，每项违规行为最高可罚款25万美元。公司还必须建立应对自杀和自残的协议，这些协议将与该州公共卫生部门共享，同时提供关于服务如何向用户提供危机中心预防通知的统计数据。
根据法案条款，平台还必须明确表明任何互动都是人工生成的，聊天机器人不得将自己表示为医疗保健专业人员。公司必须为未成年人提供休息提醒，并防止他们查看聊天机器人生成的色情图像。
一些公司已经开始实施针对儿童的保护措施。例如OpenAI最近开始推出家长控制、内容保护和针对使用ChatGPT的儿童的自残检测系统。专为18岁以上成年人设计的Replika告诉TechCrunch，公司投入大量资源通过内容过滤系统和护栏来确保安全，这些护栏会引导用户使用值得信赖的危机资源，并致力于遵守现行法规。
Character AI表示其聊天机器人包含免责声明，说明所有聊天都是AI生成且虚构的。Character AI发言人告诉TechCrunch，公司欢迎与监管机构和立法者合作，因为他们为这个新兴领域制定法规和立法，并将遵守包括SB243在内的法律。
参议员Padilla告诉TechCrunch，该法案是朝着为这项极其强大的技术设置护栏方向迈出的一步。他表示必须迅速行动，不要错过机会窗口。他希望其他州能看到风险，认为许多州确实看到了，这是全国各地都在进行的对话，希望人们会采取行动。联邦政府显然没有采取行动，他认为加州有义务保护最脆弱的人群。
SB243是加州近几周出台的第二项重要AI监管法规。9月29日，纽森州长签署SB53成为法律，对大型AI公司建立新的透明度要求。该法案要求OpenAI、Anthropic、Meta和Google DeepMind等大型AI实验室对安全协议保持透明，还确保这些公司员工的举报人保护。
伊利诺伊州、内华达州和犹他州等其他州已经通过法律限制或完全禁止使用AI聊天机器人作为持证心理健康护理的替代品。
这项立法标志着美国在AI监管方面迈出了重要一步。在多起涉及青少年与AI聊天机器人互动导致的悲剧事件后，加州选择通过立法手段建立明确的安全标准和问责机制。随着AI技术在日常生活中的应用越来越广泛，如何在创新与保护之间找到平衡，已成为各州乃至全球监管者必须面对的紧迫问题。加州的这一举措可能会为其他州和国家提供重要参考。
