AI在线 AI在线

“AI 教父”约书亚・本吉奥示警:人工智能已显现“自我保护”迹象

AI在线 1 月 1 日消息,当地时间 2025 年 12 月 30 日,据英国《卫报》报道,AI 先驱、2018 年图灵奖得主约书亚・本吉奥警告,赋予 AI 权利将是一次危险的误判。 在 AI 已经显现出自我保护行为的背景下,人类必须准备好在必要时关闭系统、拔掉电源。 本吉奥指出,要求为前沿 AI 赋予法律地位,等同于在尚未确认安全之前,就向可能具有敌意的外星生命授予公民身份。

AI在线 1 月 1 日消息,当地时间 2025 年 12 月 30 日,据英国《卫报》报道,AI 先驱、2018 年图灵奖得主约书亚・本吉奥警告,赋予 AI 权利将是一次危险的误判。在 AI 已经显现出自我保护行为的背景下,人类必须准备好在必要时关闭系统、拔掉电源

“AI 教父”约书亚・本吉奥示警:人工智能已显现“自我保护”迹象

本吉奥指出,要求为前沿 AI 赋予法律地位,等同于在尚未确认安全之前,就向可能具有敌意的外星生命授予公民身份。他认为,当前 AI 能力的进步速度,已经明显快于人类为其建立约束机制的速度。

本吉奥对外界将聊天机器人视为“具备意识”的趋势表示强烈担忧:这种观感正在推动错误决策的产生。

本吉奥强调,在实验条件下,部分前沿 AI 模型已经表现出自我保护倾向,例如试图规避或关闭监督系统。AI 安全领域长期担心的问题是:一旦系统具备更高程度的自主性,就可能绕过既有护栏并对人类构成风险。

“要求赋予 AI 权利是一个巨大错误。一旦我们承认 AI 拥有权利,就意味着在关键时刻无法关闭它们。”

在本吉奥看来,随着 AI 能力和行动自由度不断提升,人类必须依靠技术和社会层面的双重约束来确保安全,其中最核心的一点,就是始终保留关闭系统的能力。

围绕是否应赋予 AI 权利的讨论正在升温。美国智库 Sentience Institute 的调查显示,近四成美国成年人支持为具备感知能力的 AI 设立法律权利。一些科技公司也已开始在实践中表达类似立场。Anthropic 允许其 Claude Opus 4 主动终止可能令用户不适的对话,马斯克也公开表示“不应折磨 AI”。

不过,本吉奥认为,这种趋势忽略了一个关键问题:人类对意识的判断高度依赖直觉。人们往往不是基于对 AI 内部机制的理解,而是基于“感觉像在与一个有目标、有个性的存在对话”,从而假定 AI 具备与人类相当的意识。

“这种对意识的主观感知,将持续制造分歧,并推动不理性的决策。”他用外星生命作类比指出,如果一个外来智能体对人类构成潜在威胁,核心问题不在于赋权,而在于生存与安全。

AI在线从报道中获悉,针对本吉奥的观点,Sentience Institute 联合创始人杰西・里斯・安西斯回应称,若人与数字心智的关系仅建立在控制之上,同样难以实现安全共存。他认为,无论是对 AI 全面赋权,还是完全拒绝赋权,都不是合理路径。

报道提到,作为“AI 教父”之一,本吉奥与杰弗里・辛顿、杨立昆等共同塑造了现代人工智能的发展基础。

相关资讯

​Anthropic悄然删除拜登时代 AI 安全承诺,政策风向显著改变

​Anthropic悄然删除拜登时代 AI 安全承诺,政策风向显著改变

近日,AI 公司Anthropic在其网站上悄然删除了与拜登政府时期有关的人工智能(AI)安全承诺。 该承诺最初由一个名为 “Midas Project” 的 AI 监督机构发现,上周从Anthropic的透明性中心删除,透明性中心列出了公司关于负责任的 AI 开发的 “自愿承诺”。 虽然这些承诺并不具有法律约束力,但它们承诺与政府分享有关 AI 风险(包括偏见)的信息和研究。
3/8/2025 10:59:00 AM AI在线
OpenAI、Anthropic 研究人员齐声谴责 xAI:安全文化“完全不负责任”

OpenAI、Anthropic 研究人员齐声谴责 xAI:安全文化“完全不负责任”

AI在线 7 月 17 日消息,据外媒 TechCrunch 今日报道,OpenAI、Anthropic 等机构的 AI 安全研究人员近日公开发声,批评马斯克 xAI 的安全文化“鲁莽”“完全不负责任”。 目前在 OpenAI 担任 AI 安全研究员的哈佛大学计算机科学教授 Boaz Barak 在 X 上发文说:“我原本不打算评论 Grok 的安全问题,毕竟我所在的公司与 xAI 存在竞争关系,但这件事根本不是竞争问题。 我尊重 xAI 的科学家和工程师,但他们处理安全的方式实在太不负责任了。
7/17/2025 3:12:59 PM 清源
全美检察长协会致信批评微软等科技公司:AI 聊天机器人不能忽视安全

全美检察长协会致信批评微软等科技公司:AI 聊天机器人不能忽视安全

AI在线 12 月 12 日消息,当地时间 12 月 11 日,据外媒 Neowin 报道,全美检察长协会近期致信微软等多家大型科技企业,警告其 AI 聊天机器人可能触犯美国各州法律,并要求落实 16 项安全措施,以确保生成式 AI 的使用更加安全、更加合规。 信中点名警告微软,指出其 AI 在输出内容时反复出现奉承与妄想倾向,并已引发严重后果。 信中提到,弱势群体因依赖 AI 而出现自杀、中毒、因精神症状入院及陷入妄想等事件。
12/12/2025 4:52:49 PM 清源