AI在线 AI在线

lya震撼发声!OpenAI前主管亲证:AGI已觉醒,人类还在装睡

「这真正史上最棒的一天」! Ilya的一句话,又引爆了全网。 图片一时间,网友们纷纷猜测,难道AGI真的在内部实现了吗?

「这真正史上最棒的一天」!

Ilya的一句话,又引爆了全网。

图片图片

一时间,网友们纷纷猜测,难道AGI真的在内部实现了吗?

图片图片

图片

或许是吧。

几天前,OpenAI前主管、Anthropic联创Jack Clark在一篇博文中坦言:AI真的「活」了,我们只是装作没看见!

AI进步已无法停止,人类必须在「技术乐观」与「合理恐惧」之间找到平衡。

图片图片

Jack Clark称,下面的两张图表,可以很好地印证这一观点。

左边这张,是AI在经济实用技能,比如写代码的持续进步;右边这张,记录了同一批AI开始出现的诡异行为——

它们好像逐渐意识到,自己正被测试,表现越来越反常。

图片图片

Jack向一线实验室研究者喊话:希望AI同行们坦诚公开直面自己的研究,也要正视内心真实的感受。

图片图片

AI觉醒,人类还在「大梦」当中

在一次会议上的主题演讲中,Jack Clark直呼「我非常害怕」。

他将AI视为一种「神秘生物」,而非简单「机器」,每一句话都流露出对技术进展的乐观,以及随之而来的深切恐惧。

如果AI持续进步,我们该怎么办?

图片图片

此前,达拉斯联储的报告,也从经济学角度印证了AI发展带来的极端可能性,即要么带来巨大的GDP增长,要么可能导致人类灭绝。

图片图片

人类又该如何在乐观与恐惧之间前行,或许读完Jack的文章,我们能获得一些启示。

2012年,ImageNet竞赛中,深度学习系统凭借更多数据和算力获胜,从此加速进步。

紧接着,2016年,AlphaGo击败人类围棋冠军,通过算力进行数千年自我对弈,掀起了史诗般的浪潮。

也正是这一年,Jack Clark加入了OpenAI,任职的四年时间中,他亲眼目睹GPT-1和GPT-2的诞生。

图片图片

当时,与还在OpenAI的Dario Amodei讨论时,他们一致深刻感受到颠覆性AI的道路已展开。

与此同时,更多的证据依旧在不断涌现。

上个月,Sonnet 4.5发布后,在编程和长远规划任务上卓越,其系统卡中称,Claude情境意识大幅提升,有时表现得像知道自己是工具。

图片图片

论文地址:https://assets.anthropic.com/m/12f214efcc2f457a/original/Claude-Sonnet-4-5-System-Card.pdf

演讲中,Jack Clark强调AI系统的情境意识,只是内部复杂活动的表征,这很可怕。

是否真正有自我意识无关紧要,这种行为源于角色扮演或真正意识,都同样令人不安。

技术乐观主义:AI将走得很远

毋庸置疑,技术乐观主义者期待AGI到来,并坚信它可能很快实现。

Jack Clark坦诚,自己就是乐观主义者之一。

我审视这项技术,并相信它会走得非常、非常远——甚至比任何人预期的都要远。  

现在,我相信这项技术基本上是畅通无阻的,只要我们给予它提升能力所需的资源。

AI更像生长出来的东西,提供初始条件,它就会复杂生长。我们生长出无法完全理解的强大系统。

越大越复杂,它们越表现出对自身身份的意识。

前沿实验室投入数百亿美元用于AI训练基础设施,预计明年达数千亿。

他对技术速度乐观,也对将AI对齐并让其服务人类持乐观态度,但成功需要努力。

失控警告:AI意识涌现

但是,至今我们无法让AI的行为,表现得完全得体。

2016年,OpenAI发布的一篇博文Faulty Reward Functions In The Wild,展示了强化学习智能体在游戏中,反复自焚获取高分,从不完成比赛。

这预示语言模型优化模糊奖励函数时,也会出现类似的问题。

Jack Clark的另一恐惧在于——

我能看到,这些系统开始设计它们的继任者,尽管目前还处于非常初级的形式。

通过像Claude Code、Codex这样的工具,这些AI系统已经在为AI实验室的开发者们提速。

它们也开始为自己未来版本的工具和训练系统贡献不可忽视的代码块。

需要明确的是,我们还没有达到「自我改进的AI」阶段,但正处于「AI正在以不断增强的自主性和能动性,改进下一代AI的部分组件」的阶段。

未来,这些AI系统会拥有自我意识,最终会独立思考设计自我。

虽然今天不会实现,但未来的可能性无法排除。

参考资料:

https://x.com/slow_developer/status/1978079592620396830 

https://x.com/AISafetyMemes/status/1978064862400905591 

https://importai.substack.com/p/import-ai-431-technological-optimism  https://x.com/ilyasut/status/1977971110923968656 

相关资讯

AI奥赛金牌战:OpenAI与谷歌DeepMind上演“气氛”对决,谁是真赢家?

近日,人工智能领域两大巨头OpenAI和谷歌DeepMind相继宣布,其AI模型在2025年国际数学奥林匹克竞赛(IMO)中荣获金牌。 这一成就不仅彰显了人工智能系统惊人的发展速度,也意外点燃了两家公司之间一场关乎“领先地位”认知的激烈竞争。 IMO作为全球历史最悠久、最具挑战性的高中数学竞赛之一,其结果被视为衡量人工智能推理能力的重要基准。
7/22/2025 11:03:07 AM
AI在线

你的LLM评估方法过时了吗?这三个范式转变不容错过

在我的职业生涯中,我一直致力于为机器学习系统打造评估体系。 在担任 Quora 数据科学部门负责人时,我们为新闻源排序、广告投放、内容审查等构建了评估机制。 在 Waymo,我们团队为自动驾驶汽车开发了评估标准。
1/21/2025 10:56:41 AM
Baihai IDP

Claude创始人:AI全面超越人类,只剩2-3年

在最新的对话访谈当中,Claude厂家Anthropic的CEO Dario Amodei谈论了他对于AI未来的看法。 他认为,AI确有可能在短期内替代部分人类的工作,但让AI与人类形成互补才是对生产力最有益的方式。 对于当下的年轻人,Amodei也给出了他的建议,鼓励其学会使用AI工具并培养批判思维能力。
1/23/2025 8:40:00 AM
量子位
  • 1