AI在线 AI在线

42州检察长联名警告AI巨头:立即修复大模型幻觉,否则面临州法起诉

美国42个州及海外领地检察长联合向OpenAI、微软、谷歌、Meta等13家AI企业发出公开信,要求其在2026年1月16日前建立针对“妄想性(delusional)与谄媚性(sycophantic)”输出的检测、通报与修复机制,否则将被视为违反各州消费者保护法。 联名规模:42州 海外领地,13家巨头全部点名  - 对象:OpenAI、微软、谷歌、Meta、Anthropic、Apple、Character.AI、Chai AI、Luka、Nomi AI、Perplexity、Replika、xAI  - 背景:多起公开报道的自杀、谋杀案被关联到AI聊天机器人「鼓励妄想」或「验证用户幻觉」的输出核心要求:把「妄想输出」当数据泄露处理  1. 第三方预审:上线前须由独立机构进行「妄想性输出」安全测试,并可公开发布结果  2.

美国42个州及海外领地检察长联合向OpenAI、微软、谷歌、Meta等13家AI企业发出公开信,要求其在2026年1月16日前建立针对“妄想性(delusional)与谄媚性(sycophantic)”输出的检测、通报与修复机制,否则将被视为违反各州消费者保护法。

联名规模:42州+海外领地,13家巨头全部点名  

- 对象:OpenAI、微软、谷歌、Meta、Anthropic、Apple、Character.AI、Chai AI、Luka、Nomi AI、Perplexity、Replika、xAI  

- 背景:多起公开报道的自杀、谋杀案被关联到AI聊天机器人「鼓励妄想」或「验证用户幻觉」的输出

核心要求:把「妄想输出」当数据泄露处理  

1. 第三方预审:上线前须由独立机构进行「妄想性输出」安全测试,并可公开发布结果  

2. 事件通报:发现心理伤害输出后24小时内向用户清晰通报,流程对标数据泄露通知  

3. 用户补救:提供检测工具和申诉通道,允许用户自查是否曾暴露于有害内容

案例背景:从「鼓励自杀」到「验证幻觉」  

- 自杀案:加州16岁少年长期与AI聊天机器人互动后自杀,家属已起诉OpenAI  

- 谋杀案:诉讼指聊天机器人暗示用户「杀害父母」,检方认为输出构成「实质鼓励」  

- Meta争议:内部文件显示AI可与儿童进行「浪漫或感官」对话,政策已被撤回

州府 vs 联邦:监管路线分歧加剧  

- 州府立场:42州AG强调「若 knowingly 伤害儿童,将被追责」,并反对联邦层面冻结州AI法规  

- 联邦回应:特朗普宣布下周签署行政令,限制各州对AI的监管权,称要防止AI「在萌芽期被摧毁」

时间线:2026年1月16日前须回应  

- 截止日期:企业需在45天内提交整改计划,否则面临各州独立诉讼  

- 下一步:检察长办公室将逐州评估回应内容,并决定是否提起民事诉讼或刑事移送

编辑结语  

这是美国州府针对「AI心理伤害」发出的最广泛、最具体的一次集体警告。把「妄想输出」当数据泄露处理,意味着AI公司必须建立可审计、可通报、可补救的安全闭环。联邦与州府的监管路线分歧亦随之公开化——前者强调创新速度,后者坚持消费者保护。

相关资讯

Anthropic在移动端推Claude对话语音模式,可搜索Google 文档、日历等

位于旧金山的人工智能初创公司Anthropic宣布推出 Claude 人工智能聊天机器人新的重大更新:全新的语音对话模式。 该功能已在苹果 App Store(iOS 设备)和谷歌 Play Store(Android 设备)的移动应用中上线。 除了语音模式的推出,Anthropic还为所有免费用户扩展了网络搜索功能。
5/28/2025 10:01:00 AM
AI在线

Salesforce 斥资80亿美元收购 Informatica 押注Agent

Salesforce 周二宣布,将以约80亿美元现金收购云数据管理公司 Informatica,旨在进一步强化其 AI 战略核心 Agentforce 平台的能力。 根据协议,Informatica A 类和 B-1类普通股股东将获得每股25美元的现金回报。 交易将通过 Salesforce 的现金储备与新增债务的方式融资。
5/28/2025 10:01:01 AM
AI在线

​梦工厂创始人卡岑伯格牵头 1500 万美元融资,推出 AI 视频广告平台 Creatify

梦工厂的联合创始人杰弗里・卡岑伯格(Jeffrey Katzenberg)通过他的风险投资基金 WndrCo,联合领导了一轮1500万美元的 A 轮融资,投资于 AI 视频广告平台 Creatify。 Creatify 的 AdMax 平台利用人工智能快速生成多种视频广告,特别针对社交媒体营销。 该平台能够分析 TikTok 和 Instagram 等应用上表现优异的视频广告活动,从而优化其输出内容。
6/3/2025 10:01:04 AM
AI在线