强化学习

SEARCH-R1: 基于强化学习的大型语言模型多轮搜索与推理框架

这个研究提出了一种新型强化学习(RL)框架SEARCH-R1，该框架使大型语言模型(LLM)能够实现多轮、交错的搜索与推理能力集成。不同于传统的检索增强生成(RAG)或工具使用方法，SEARCH-R1通过强化学习训练LLM自主生成查询语句，并优化其基于搜索引擎结果的推理过程。该模型的核心创新在于完全依靠强化学习机制（无需人工标注的交互轨迹）来学习最优的搜索查询策略及基于检索知识的推理方法，从而显著提升问答任务的性能表现。

3/21/2025 1:00:54 PM

佚名

小米大模型团队在音频推理领域取得重大突破，登顶国际评测榜

近日，小米大模型团队在音频推理领域的研究中取得了突破性进展，成功应用强化学习算法于多模态音频理解任务，准确率达到了64.5%，这一成就使其在国际权威的 MMAU 音频理解评测中夺得了第一名。这一成果的背后，离不开团队对 DeepSeek-R1的启发。 MMAU（Massive Multi-Task Audio Understanding and Reasoning）评测集是衡量音频推理能力的重要标准，通过对包含语音、环境声和音乐的多种音频样本进行分析，测试模型在复杂推理任务中的表现。

3/17/2025 2:13:00 PM

AI在线

小米大模型团队登顶音频推理 MMAU 榜，受到DeepSeek-R1启发

小米技术官方微博宣布，小米大模型团队在音频推理领域取得了显著进展。他们在受到 DeepSeek-R1的启发后，率先将强化学习算法应用于多模态音频理解任务。团队在短短一周内便以64.5% 的 SOTA（State Of The Art）准确率，登顶国际权威的 MMAU 音频理解评测榜，并同步将相关技术开源。

3/17/2025 11:43:00 AM

AI在线

首创GRPO方案！AlphaDrive：VLM+RL破解自动驾驶长尾难题

写在前面 & 笔者的个人理解OpenAI o1 和 DeepSeek R1 在数学和科学等复杂领域达到了或甚至超越了人类专家的水平，强化学习（RL）和推理在其中发挥了关键作用。在自动驾驶领域，最近的端到端模型极大地提高了规划性能，但由于常识和推理能力有限，仍然难以应对长尾问题。一些研究将视觉-语言模型（VLMs）集成到自动驾驶中，但它们通常依赖于预训练模型，并在驾驶数据上进行简单的监督微调（SFT），没有进一步探索专门为规划设计的训练策略或优化方法。

3/14/2025 10:22:03 AM

Bo Jiang等

360智脑团队成功复现Deepseek强化学习效果，发布开源模型Light-R1-14B-DS

近日，360智脑团队宣布成功复现Deepseek的强化学习效果，并正式发布开源推理模型 Light-R1-14B-DS。该模型性能表现超越 DeepSeek-R1-Distill-Llama-70B和 DeepSeek-R1-Distill-Qwen-32B，成为业界首款在14B参数规模上实现强化学习效果的模型，显著提升了数学推理能力，成绩超过大多数32B级别模型。与 DeepSeek-R1-14B 相比，Light-R1-14B-DS*在数学竞赛任务中表现突出:在 AIME24测试中提升4.3分，在 AIME25中更是提高10分。

3/14/2025 10:07:00 AM

AI在线

超越DeepSeek-R1关键RL算法GRPO，CMU「元强化微调」新范式登场

大语言模型（LLM）在推理领域的最新成果表明了通过扩展测试时计算来提高推理能力的潜力，比如 OpenAI 的 o1 系列。通常来说，这些方法在训练模型时可以产生比典型正确解决方案更长的轨迹，并包含了试图实现某些「算法」的 token：例如反思前一个答案、规划或实现某种形式的线性搜索。这些方法包括显式地微调预训练 LLM 以适应算法行为，例如对搜索数据进行监督微调（SFT）或针对 0/1 正确性奖励运行结果奖励（outcome-reward，OR）RL。

3/13/2025 11:07:30 AM

机器之心

蚂蚁医疗大模型荣获MedBench评测双料冠军，引领医疗AI新纪元

近日，国内知名医疗大模型评测平台 MedBench 公布了最新榜单，其中，蚂蚁医疗团队研发的蚂蚁医疗大模型凭借卓越表现，一举夺得了评测榜单和自测榜单的双料冠军，分别以97.5和98.2的高分引发了业界的广泛关注。蚂蚁医疗大模型的成功离不开其团队在医疗推理模型研发上的不断努力。该团队近期采用了基于强化学习的技术，打造了新一代的医疗推理模型。

3/12/2025 3:28:00 PM

AI在线

阿里通义宣布开源R1-Omni模型可提升多模态情感识别能力

3月11日，通义实验室团队宣布开源R1-Omni模型，为全模态模型的发展带来了新的突破。该模型结合了强化学习与可验证奖励（RLVR）方法，专注于提升多模态情感识别任务中的推理能力和泛化性能。 R1-Omni的训练分为两个阶段。

3/12/2025 8:21:00 AM

AI在线

图灵奖颁给强化学习师徒，一个造船改行写代码，一个痛批AI投身AGI

计算机最高奖图灵奖揭晓！强化学习先驱Andrew Barto与Richard Sutton共同获奖，他们被评价为“引领基础AI技术开发的研究人员”。值得一提的是，两位是师徒关系，Richard Sutton是Andrew Barto他第一位博士生。

3/6/2025 10:07:00 AM

量子位

万字梳理：揭秘 DeepSeek 中的 RL 与 AGI 下一步丨AIR 2025

在 DeepSeek 能够破圈而出的一众原因中，完全摒弃传统的监督微调（SFT）、转而采用大规模强化学习（RL）的创新之处是关键所在，这使得模型推理能力在质上取得显著突破，更证明了强化学习在提升大语言模型推理能力方面的巨大潜力。近几年，学界和业界关于 RL 和 LLM 也涌现出了颇多具备开创性意义的研究成果。在 AI 智能体推理与决策研讨会（AIR 2025）上，来自伦敦大学学院、加州大学伯克利分校、普林斯顿大学、华盛顿大学、卡内基梅隆大学、Meta、华为等多位学术界和工业界的研究人员围绕强化学习、推理决策、AI 智能体展开讨论，回答了诸多问题，例如：AI 系统如何模拟类人推理和决策过程？

3/3/2025 8:26:00 PM

王悦

UCL强化学习派：汪军与他的学生们

作者 | 赖文昕编辑 | 陈彩娴作为一支在 AI 领域历经数十年的研究分支，强化学习一直在历久弥新。从推荐系统到强化学习 2006 年暑假的一个午后，汪军踏上了从荷兰小城代尔夫特开往首都阿姆斯特丹的火车，他将在阿姆斯特丹换乘飞机，飞往美国西雅图参加第 29 届国际计算机协会信息检索大会（ACM SIGIR）。此时的信息检索领域如日中天，加上微软、雅虎和谷歌三巨头最核心的业务也是搜索，ACM SIGIR 每年都能汇集学术界与工业界的最高人才，来开一场信息检索界的“年会”。

2/27/2025 7:15:00 PM

赖文昕

慢思考助力医学大语言模型突破数据瓶颈：上海交大联合上海AI Lab推出MedS3系统

编辑 | ScienceAIOpenAI o1、DeepSeek R1 等模型成功实现了在数学、编程等领域的智能慢思考推理，通过自我反思和修正实现了运行时的性能外推。然而，在医疗领域，仍然很少有模型可以实现具有长链慢思考的推理。目前医疗领域的推理模型大多是通过在医疗考试题上对 OpenAI 系列的模型进行蒸馏，并没有考虑推理过程的可验证性，以及医疗任务的覆盖度。

2/21/2025 4:04:00 PM

ScienceAI

OpenAI：强化学习确实可显著提高LLM性能，DeepSeek R1、Kimi k1.5发现o1的秘密

最近，OpenAI 发了一篇论文，宣称 o3 模型在 2024 IOI 上达到了金牌水平，并且在 CodeForces 上获得了与精英级人类相当的得分。他们是怎么做到的呢？ OpenAI 在论文开篇就用一句话进行了总结：「将强化学习应用于大型语言模型（LLM）可显著提高在复杂编程和推理任务上的性能。

2/19/2025 7:05:00 PM

机器之心

大模型强化学习新发现：删减84%数据反提升效果

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。

2/19/2025 6:59:00 PM

机器之心

OpenAI联创Schulman闪电跳槽！从Anthropic转投Murati新公司

跑去隔壁Anthropic的OpenAI联创John Schulman，又又又跳槽了。《财富》爆料，Schulman新的去向，是加入原OpenAI首席技术官Mira Murati的新创业公司。此时距离他转投Anthropic，仅仅不到半年。

2/7/2025 10:13:16 AM

量子位

波士顿动力与前 CEO 联手推动 Atlas 机器人强化学习进展

波士顿动力公司于本周三宣布了一项新合作，旨在提升其电动 Atlas 人形机器人的强化学习能力。这一合作伙伴关系是与机器人与人工智能研究所（RAI Institute）建立的，后者曾名为波士顿动力人工智能研究所。该研究所由前麻省理工学院教授、波士顿动力前 CEO 马克・雷伯特创立于2022年，旨在继续推动为波士顿动力奠定基础的研究。

2/6/2025 9:23:00 AM

AI在线