AI在线 AI在线

Anthropic 首席科学家卡普兰:AI 可能会在“失控”中不断增强,最终反过来支配人类

AI在线 12 月 13 日消息,据外媒 Futurism 今日报道,Anthropic 首席科学家贾里德・卡普兰警告,人类正站在一个与 AI 相关的重大分岔口。 卡普兰认为,决定权暂时仍在人类手中,但窗口期正在迅速缩小。 他在接受《卫报》采访时表示,最迟到 2030 年,甚至可能在 2027 年,人类就必须决定是否让 AI 模型完全自行训练,并承担由此带来的“终极风险”。

AI在线 12 月 13 日消息,据外媒 Futurism 今日报道,Anthropic 首席科学家贾里德・卡普兰警告,人类正站在一个与 AI 相关的重大分岔口

卡普兰认为,决定权暂时仍在人类手中,但窗口期正在迅速缩小。他在接受《卫报》采访时表示,最迟到 2030 年,甚至可能在 2027 年,人类就必须决定是否让 AI 模型完全自行训练,并承担由此带来的“终极风险”。一旦触发所谓的“智能爆炸”,AI 可能进化为通用人工智能,在科学和医学等领域为人类带来巨大收益,也可能在失控中不断增强,最终反过来支配人类。

卡普兰直言,这是一条充满不确定性的道路,人类并不知道终点在哪里。

Anthropic 首席科学家卡普兰:AI 可能会在“失控”中不断增强,最终反过来支配人类

在 AI 领域,卡普兰并不是孤立的悲观派。“AI 教父”杰弗里・辛顿曾公开反思自己对 AI 发展的贡献,并警告 AI 可能对社会造成毁灭性冲击。OpenAI 的奥尔特曼则认为 AI 将消灭整类工作岗位,而 Anthropic CEO 达里奥・阿莫迪更是直指 AI 可能取代超过一半的初级白领工作,并批评同行刻意淡化这种冲击。

卡普兰在就业问题上与阿莫迪看法接近。他认为,AI 在两到三年内就有能力完成大多数白领任务。尽管卡普兰对 AI 与人类目标保持一致仍抱有希望,但对让 AI 训练 AI 的前景高度警惕,并认为这是“风险极高”的决策。

卡普兰称,一旦人类退出训练过程,就难以判断 AI 是否已经失控,也无法确认 AI 究竟在做什么。

目前,大模型训练小模型的蒸馏方式已经存在,而卡普兰真正担心的是“递归自我改进”(AI在线注:AI 在没有人类干预的情况下不断自我强化,并在能力上实现跳跃式增长)。

卡普兰强调,是否允许这种发展,最终取决于对 AI 本质的判断。“主要问题在于:AI 对人类有益吗?有帮助吗?它们会无害吗?它们了解人吗?它们会允许人们继续掌控自己的生活和世界吗?”

包括杨立昆在内的多位 AI 研究者并不认同大语言模型能够演化为全能智能体。AI 是否真的提升了工作效率仍存在争议,一些研究和企业实践显示,有公司用 AI 智能体取代员工后反而需要重新雇人收场

卡普兰也承认,AI 发展停滞并非不可能。“也许当前的 AI 已经是巅峰,但在我们看来,AI 仍会持续进步。”

相关资讯

微软 AI 掌门人苏莱曼不看好 OpenAI 阿尔特曼对 AGI 的预判:当前硬件无法实现

据 The Verge 今晚报道,微软 AI CEO 穆斯塔法・苏莱曼对 OpenAI CEO 山姆・阿尔特曼的最新表态提出了异议,称当前硬件无法实现 AGI。
12/9/2024 11:42:56 PM
清源

通用人工智能将如何重塑未来?

通用人工智能(AGI)是一种人工智能,具有与人类一样的获取知识、应用知识解决问题和理解能力。 与专门处理受限任务的狭义人工智能系统不同,AGI寻求发展先进的认知技能,以促进在不同情况下完成复杂任务。 AGI是一种人工智能,试图模仿人类的思维过程、解决问题的能力和决策能力。
5/23/2025 6:30:00 AM
chris han

前 OpenAI 政策负责人质疑公司 AI 安全叙事的变更

最近,前 OpenAI 政策研究负责人迈尔斯・布伦达奇(Miles Brundage)对公司在人工智能安全方面的叙事变更提出了批评,认为 OpenAI 正在重新编写其 AI 系统安全的历史。 他表示,OpenAI 在追求通用人工智能(AGI)的过程中,可能会忽视长远的安全措施。 OpenAI 一直以来致力于推动其雄心勃勃的愿景,尤其是在 DeepSeek 等竞争对手日益崛起的背景下。
3/7/2025 11:41:00 AM
AI在线