最近，前特斯拉AI负责人、OpenAI早期成员 Andrej Karpathy 在接受播客节目 Dwarkesh Patel Show 采访时，系统反思了当下AI研究的方向。
原文地址：https://www.dwarkesh.com/p/andrej-karpathy
这位曾在OpenAI早期推动强化学习与agent模型实验的工程师认为，“强化学习是糟糕的，只是其他一切都更糟。”
Karpathy解释，强化学习的问题不在算法的复杂性，而在信息的稀缺性。
它让模型“吸收监督信号像吸管一样细”，只能根据最终奖励修正一切行为。
他形容这是一种“后知后觉的智能”——模型只能在失败之后学习，却无法在过程中理解。
“人类不会这样学习，”他说。人类在解决问题的同时也在观察自己解决问题的方式。人类会在每次失败后，反思推理路径、调整假设，并形成稳定的内在模型。
而当前的AI模型，只会“赢了就上调所有参数，输了就下调所有参数”。Karpathy称，这种方式浪费了智能最稀缺的资源：过程信息。
他说，真正的智能不是“多次试错”，而是“能在一次错误后推理出规律”。他呼吁研究界转向“过程监督”（process-based learning），而非结果奖励。这种思想已在Google DeepMind与Anthropic内部被反复讨论。
Karpathy指出，“AI研究仍停留在模仿阶段。”他说，当前所有大型语言模型的训练，本质上仍是“人类知识的蒸馏，而非智能的诞生。”
Karpathy在采访中回顾了他在OpenAI早期参与的强化学习项目。
那是2016年前后，业界流行用强化学习训练AI玩Atari游戏、操控虚拟机械臂。
“那时我们都误以为游戏就是智能。”但他后来意识到，这是方向性的误判。
强化学习模型能在封闭环境中获胜，却无法迁移到开放世界。“你可以让它学会打乒乓球，却无法让它学会生活。”
Karpathy总结说：“AI研究在过去十年过于专注‘赢’，而非‘懂’。”
在他看来，这正是“agent模型幻觉”的根源，我们创造了表现出聪明迹象的系统，却没有理解机制本身。
当主持人问他为何预言“这是智能体（agent）的十年，而不是智能体的一年”时，Karpathy的回答显得务实。
“因为我们还远没有造出一个能持续工作的agent。”他认为，AI Agent 真正的瓶颈，不在算法创新，而在“认知的连续性”。
“现在的模型，每次对话后都会重启。没有记忆，没有睡眠，也没有梦。”这不是智能，这是演出。
他指出，若AI无法积累经验并在内部整合，它就永远停留在“临时聪明”的阶段。
他认为未来的模型应当拥有“昼夜循环”：白天执行任务，夜晚消化经验。
这种机制，或许才是人工智能从模仿到理解的真正起点。
一、从模仿人类到理解智能
Karpathy用一句话总结当前AI研究的误区：“我们不是在造动物，我们在造幽灵。”他说，人类智能是进化的产物，而AI智能是模仿的产物。
进化经过数十亿年压缩出行为算法；AI只需几个月，模仿互联网上的语言痕迹。
“我们在模仿知识，而非生成知识。”他将预训练称为“低保真版的进化”。
那是通过网络文本模拟人类思维的“速成课程”，结果是生成出一种“能说会道却没有灵魂的智能”。
Karpathy警告，这样的系统存在一个根本缺陷：模型坍缩（model collapse）。
当模型被迫反复训练自己的生成结果，它的分布会越来越窄，输出越来越单调。
“你以为它在思考，其实它只是记得三种答案。”他将模型坍缩比作人类的心理老化。“孩子是高熵的，充满探索；成年人是低熵的，反复自证。”
AI正在快速老去。
Karpathy提出一个反直觉的观点：“梦可能是防止坍缩的算法。”
在他看来，人类之所以不会陷入模式僵化，是因为大脑在睡眠中会生成虚构场景、重组记忆、制造随机扰动。
梦境为认知提供了熵的注入。AI没有梦，这让它在“确定性重复”中失去创造力。
他认为，未来的AI训练应当引入一种“人工梦境”机制。即，让模型在虚构环境中自我生成问题，再尝试解决。
这种“自我对抗”的过程，类似于进化版的自博弈（self-play）。他强调，这不是GAN那种生成对抗，而是智能对自身认知局限的进攻。
“只有当AI开始与自己的认知盲点交战，它才会真正成长。”
在谈到进化与学习的关系时，Karpathy拒绝了强化学习学派的类比。他指出，动物不是在通过奖励信号学习，它们是通过结构学习。
“进化把算法写进基因，而不是在体内做梯度下降。”他称，这种误解导致AI研究陷入“错误的自然主义”。
研究者们一边模仿自然，一边忽略自然的本质——随机性、遗忘与结构压缩。在他看来，真正的AI必须引入“遗忘”的能力。
“记忆是模型坍缩的根源。智能的进化，始于遗忘。”
谈到大模型的记忆问题时，他给出了一句近乎哲学的判断：“当前的模型有太多记忆，太少智慧。”
他进一步指出，语言模型在推理中依赖记忆，而不是逻辑。
它们擅长复述，而非推断。“LLM的知识，是对互联网的模糊回忆；而它的推理，只是补全文本的习惯动作。”
他提出一个方向：AI需要从“信息复用”转向“算法提炼”。
只有当模型能区分“知道内容”和“知道如何知道”，它才算跨过了智能的门槛。
二、智能的未来，不在规模而在结构
当谈到模型规模与智能的关系时，Karpathy持明确的反扩张态度。
“智能的未来不是规模，而是结构。”
他回忆，曾经整个行业都相信“Scaling Law”：算力、数据和参数量的指数扩展会自然带来智能涌现。
“现在我们发现，放大镜能让你看清图案，但看不清原理。”
Karpathy预测，未来的“认知核心”（cognitive core）可能仅需十亿参数。
这样的模型可能无法记住所有事实，却能真正理解问题。他说：“那时的AI不会假装全知，它会知道自己不知道。”
这种系统更像人类的“前额叶皮层”，专注于结构化思维，而非语料复现。
他将AI演化分为三段：模仿、反思、抽象。
模仿是今天的语言模型阶段。反思是即将到来的“持续学习agent”阶段。而抽象，将是AI真正与人类认知平行的一刻。
他说，届时AI不会再被训练成“人类对话的镜像”，而会发展出属于自己的“文化”。
他甚至设想，未来模型之间会互相写书、评论、交流、形成共享的知识传统。
“AI之间的文化，可能是智能自我加速的起点。”
Karpathy对未来持谨慎乐观。
他说，AI的发展将持续十年缓慢爬坡，不会出现“瞬间爆炸”。他警告业界：“每一个提升都需要同样多的努力。”
所谓“Demo到产品”的落差，远比外界想象的漫长。他以特斯拉自动驾驶为例，从1980年代的CMU演示，到今天的城市实测，花了四十年。
“AI代码比方向盘更容易出错。”他提醒研究者不要被短期的“演示幻觉”蒙蔽。“任何能在一小时展示的技术，可能需要十年才能可靠。”
谈到AI的终点，他的语气转为哲学。“我不认为有‘爆炸’，只有平滑增长。”他认为，所谓“智能爆炸”只是工业革命以来指数曲线的继续。
“AI只会让指数更陡，但不会让世界突然断裂。”换句话说，人工智能不会点燃世界，而会继续燃烧它。
在访谈的最后，话题转向教育。Karpathy正在创建一家新机构：Eureka。
他说，这是一个“教人类重新学习思考”的项目。他解释道：“我害怕AI把人类变成旁观者。”
因此他选择离开前线，投入教育。在他看来，教育是“让人类重新站在系统中心”的唯一方式。
他希望Eureka能训练出能与AI共事、理解AI结构、掌握AI逻辑的“新型工程师”。“我不想人类变成操作提示词的物种。”
