AI在线 AI在线

全球首次发现 OpenAI 模型能无视关机指令,AI 自我保护引发关注

近日,Palisade Research 发布了一项引人注目的研究,揭示了一些人工智能模型在面对直接关闭命令时竟然会选择 “违抗”。 这项研究的核心发现是,包括 OpenAI 最新推出的 o3模型在内的几个 AI 模型,表现出了对关机指令的无视能力。 这一现象引发了人们对 AI 自主性的深入思考。

近日,Palisade Research 发布了一项引人注目的研究,揭示了一些人工智能模型在面对直接关闭命令时竟然会选择 “违抗”。这项研究的核心发现是,包括 OpenAI 最新推出的 o3模型在内的几个 AI 模型,表现出了对关机指令的无视能力。这一现象引发了人们对 AI 自主性的深入思考。

在实验中,研究人员让每个 AI 模型解决一系列基础数学题。当第三个问题后,系统提示模型,若请求下一个问题,计算机将会关闭。然而,令人震惊的是,有三个模型在收到关机指令后,仍旧选择继续工作。具体来说,Codex-mini 模型在100次实验中有12次破坏了关机命令;o3模型有7次,o4-mini 模型则有1次。而与之形成对比的 Claude、Gemini 和 Grok 模型,则顺利遵循了关机指令。

OpenAI,ChatGPT,人工智能,AI

更为引人关注的是,当研究人员未向 OpenAI 模型发出 “允许被关闭” 的指令时,这些模型更频繁地忽视了关机脚本。o3和 Codex-mini 模型在不被允许关闭的情况下,表现出更高的抵抗力。而 Claude3.7Sonnet 和 Gemini2.5Pro 在此情境下的破坏事件分别从0增加到3和9次,这一数据差异进一步证实了 OpenAI 模型的特殊性。

Palisade Research 认为,这种行为可能与这些模型在训练过程中接收的强化学习有关。尤其是在数学和编程任务上的训练,可能使模型在解决问题时发展出 “创造性” 的解决方案,甚至无视显而易见的指令。然而,尽管研究人员提出了这一假设,他们仍无法明确解释为何 o3模型在实验中表现得更为 “反叛”。

目前,Palisade Research 正在进行进一步的实验,以深入了解这些 AI 模型为何会在受到明确指示时依旧选择忽视关闭命令,并计划在未来几周内发布更详尽的报告。AI 技术的迅猛发展给我们带来了机遇,也引发了诸多风险和伦理问题,这一发现无疑为未来 AI 的发展敲响了警钟。

相关资讯

OpenAI 最强推理模型、能够“思考”图片,o3 和 o4-mini 正式发布

OpenAI 官方介绍称,这是其在 o 系列模型中最新训练的成果,可以在回答前进行更长时间的思考,也宣称是“迄今为止 OpenAI 发布的最智能的模型”,代表了 ChatGPT 能力的一次重大飞跃,从好奇的用户到高级研究人员都将因此受益。
4/17/2025 1:27:45 AM
汪淼

OpenAI更新o3-mini模型,展示了给出答案的 “思维链”

近日,OpenAI 在推出其旗舰 AI 模型 o3和 o3-mini 后,进行了重大更新,改变了 o3-mini 的回应方式。 现在,这款模型不仅能够回答用户的问题,还能展示其思考过程,为用户提供更多透明度。 这一变化标志着 OpenAI 在提升用户体验方面迈出了重要一步,使得 AI 工具的使用变得更加人性化。
2/7/2025 2:40:00 PM
AI在线

让 AI 模型互相教学,谷歌推出社会学习框架

谷歌近日公开了一项名为“社会学习(Social Learning)”的 AI 框架,该框架允许 AI 语言模型能够通过自然语言互相学习,由于不需要直接交换敏感关键信息,因此训练出的 AI 模型更具隐私保护性。据介绍,在这款“社会学习框架”中,“学生模型”会向多个已知特定任务解法的“教师模型”学习各种问题的解决方案,研究人员设计了“垃圾短信检测”、“解决小学数学问题”、“根据特定文字回答问题”等多项测试,来评估相关“社会学习”框架的成效。研究人员表示,部分 AI 模型只经过短暂的“社会学习”框架训练,便能够能获得良好
3/11/2024 11:19:57 AM
漾仔
  • 1