The Policy Cliff

研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现

本文作者为徐兴成博士，任上海人工智能实验室青年研究员，北京大学与英国牛津大学联合培养数学博士，上海市启明星项目（扬帆专项）获得者。研究方向：大模型后训练、强化学习与基础理论研究。强化学习（RL）是锻造当今顶尖大模型（如 OpenAI o 系列、DeepSeek-R1、Gemini 2.5、Grok 4、GPT-5）推理能力与对齐的核心 “武器”，但它也像一把双刃剑，常常导致模型行为脆弱、风格突变，甚至出现 “欺骗性对齐”、“失控” 等危险倾向。

8/13/2025 1:01:00 PM

机器之心

资讯热榜

GPT-5发布即翻车！奥特曼深夜承认：图表出错，模型变笨。用户只想用回GPT-4o 2025 年多款 Deep Research 智能体框架全面对比 OpenAI夺金IOI，但输给3位中国高中生基于 DiT 大模型与字体级分割的视频字幕无痕擦除方案，助力短剧出海和GPT聊了21天，我差点成为陶哲轩扎克伯格看OpenAI直播挖人，北大校友孙之清加入Meta Meta刚刚开源DINOv3，横扫60+任务，无标注封神！ OpenAI重磅发布ChatGPT-5！写作坠入谷底，编程一骑绝尘

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体论文英伟达 Anthropic 代码算法训练 Stable Diffusion 芯片蛋白质开发者腾讯 LLM 生成式苹果 Claude Agent AI新词神经网络 3D AI for Science 机器学习研究生成 xAI 人形机器人 AI视频计算 Sora GPU AI设计百度华为工具大语言模型搜索具身智能场景 RAG 字节跳动大型语言模型预测深度学习伟达视觉 Transformer 视频生成 AGI 神器推荐亚马逊架构 Copilot DeepMind 应用安全