理论

从RLHF、PPO到GRPO再训练推理模型，这是你需要的强化学习入门指南

强化学习（RL）已经成为当今 LLM 不可或缺的技术之一。从大模型对齐到推理模型训练再到如今的智能体强化学习（Agentic RL），你几乎能在当今 AI 领域的每个领域看到强化学习的身影。近日，Daniel Han 和 Michael Han 两兄弟组成的团队 Unsloth（用于微调模型的同名开源项目 GitHub 星数已超过 4 万）发布了一个强化学习教程，其中从吃豆人谈起，简单易懂地从 RLHF、PPO 介绍到 GRPO，还分享了如何用 GRPO 训练推理模型的技巧。

6/23/2025 9:07:00 AM

三个大模型合作，1000次迭代，竟能像人类科学家一样发现方程

随着 AI4Science 的浪潮席卷科研各领域，如何将强大的人工智能模型真正用于分析科学数据、构建数学模型、发现科学规律，正成为该领域亟待突破的关键问题。近日，中国科学院自动化研究所的研究人员提出了一种创新性框架 ——DrSR (Dual Reasoning Symbolic Regression)：通过数据分析与经验归纳 “双轮驱动”，赋予大模型像科学家一样 “分析数据、反思成败、优化模型” 的能力。在 DrSR 中，三位 “虚拟科学家” 协同工作：一个善于洞察变量关系的 “数据科学家”；一个擅长总结失败教训与成功经验的 “理论科学家”；一个勇于尝试假设、不断优化模型的 “实验科学家”。

6/23/2025 9:04:00 AM

Sam Altman提醒创业者：ChatGPT将来要做的，大家就绕开吧

Y Combinator 最近在旧金山举办的 AI Startup School 活动，邀请了大量 AI 领域最具影响力的创始人和专家进行现场对谈和演讲，之前 Andrej Karpathy 在活动上的演讲视频爆火，现在 OpenAI CEO Sam Altman 的最新采访也已上线。视频地址：，Altman 深入复盘了从早期创业艰辛到缔造 OpenAI 的完整历程。他不仅分享了对雄心、责任及全球瞩目下如何前行的思考，还就早期关键决策、未来技术机遇、产品形态及个人领导哲学等话题，给出了深刻洞见。

6/23/2025 9:02:00 AM

开源版MetaQuery来了！OpenUni用1.1B参数媲美BLIP3-o-8B，数据代码完全开源

随着 GPT-4o 展现出令人印象深刻的多模态能力，将视觉理解和图像生成统一到单一模型中已成为 AI 领域的研究趋势（如MetaQuery 和 BLIP3-o ）。南洋理工大学 S-Lab 和商汤科技的研究团队推出 OpenUni，一个开源版 MetaQuery，仅用 1.1B 参数达到 8B 模型性能，更将代码、权重、数据全部开源！技术报告： OpenUni: A Simple Baseline for Unified Multimodal Understanding and Generation机构：南洋理工大学 S-Lab、商汤科技新加坡研究院作者： Size Wu*, Zhonghua Wu*, Zerui Gong* (* 同等贡献), Qingyi Tao, Sheng Jin, Qinyue Li, Wei Li, Chen Change Loy开源代码：： [email protected]架构图，OpenUni 架构：通过 256 个可学习查询和 6 层轻量连接器，桥接冻结的 InternVL（理解）与 SANA（生成）图 1：OpenUni 在生成任务上的性能表现，展示了其高效的参数利用三大核心优势🏗️ 架构极简仅 6 层连接器，相比 MetaQuery 的 24 层大幅精简⚡ 参数高效1.1B 参数达到 GenEval 0.84 分，与 BLIP3-o-8B 模型性能相当 📂 完全开源模型权重训练代码 2300 万数据集全部公开架构设计与训练策略OpenUni 遵循 MetaQuery 的设计理念，包含四个核心组件：1.256 个可学习查询 - 从用户指令中提取条件信息2.

6/23/2025 9:01:00 AM

月之暗面「调教」出最强Agent，在「人类最后一场考试」拿下最新 SOTA

昨天，月之暗面发了篇博客，介绍了一款名为 Kimi-Researcher 的自主 Agent。这款 Agent 擅长多轮搜索和推理，平均每项任务执行 23 个推理步骤，访问超过 200 个网址。它是基于 Kimi k 系列模型的内部版本构建，并完全通过端到端智能体强化学习进行训练，也是国内少有的基于自研模型打造的 Agent。

6/23/2025 9:00:00 AM

ICML 2025 Oral | NAS老树开新花，NUS提出智能体超网，成本狂降55%

本文第一作者为张桂彬，新加坡国立大学25Fall计算机科学博士生；本文在南洋理工大学的王琨博士、上海人工智能实验室的白磊老师、和中国科学技术大学的王翔教授指导下完成。 LLM 智能体的时代，单个 Agent 的能力已到瓶颈，组建像 “智能体天团” 一样的多智能体系统已经见证了广泛的成功。但 “天团” 不是人越多越好，手动设计既费力又不讨好，现有的智能体自动化方法又只会 “一招鲜”，拿一套复杂阵容应对所有问题，导致 “杀鸡用牛刀”，成本高昂。

6/23/2025 8:57:00 AM

7B智能体仅凭9个任务训练即超越R1！上交大打造AI-for-AI新范式

尽管人工智能（AI）在飞速发展，当前 AI 开发仍严重依赖人类专家大量的手动实验和反复的调参迭代，过程费时费力。这种以人为中心的方式已成为制约创新速度和通向通用人工智能（AGI）的关键瓶颈。为突破限制，AI-for-AI（AI4AI）应运而生。

6/23/2025 8:56:00 AM

舍弃CUDA编程！CMU等用几十行代码将LLM编译成巨型内核，推理延迟可降6.7倍

在 AI 领域，英伟达开发的 CUDA 是驱动大语言模型（LLM）训练和推理的核心计算引擎。不过，CUDA 驱动的 LLM 推理面临着手动优化成本高、端到端延迟高等不足，需要进一步优化或者寻找更高效的替代方案。近日，CMU 助理教授贾志豪（Zhihao Jia）团队创新玩法，推出了一个名为「Mirage Persistent Kernel（MPK）」的编译器，可以自动将 LLM 转化为优化的巨型内核（megakernel），从而将 LLM 推理延迟降低 1.2 到 6.7 倍。

6/23/2025 8:55:00 AM

监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力

监督学习也能像强化学习一样进行“自我反思”了。清华大学与英伟达、斯坦福联合提出新的监督学习方案——NFT（Negative-aware FineTuning），在RFT（Rejection FineTuning）算法基础上通过构造一个“隐式负向模型” 来额外利用负向数据进行训练。这并不意味着使用“差数据”进行训练，而是在已知的模型计算结果前提下，通过负向数据训练正向模型，即“隐式负向策略（Implicit Negative Policy）”。

6/23/2025 8:52:00 AM

AI也会闹情绪了！Gemini代码调试不成功直接摆烂，马斯克都来围观

AI也会“闹自杀”了？一位网友让Gemini 2.5调试代码不成功后，居然得到了这样的答复——“I have uninstalled myself.”看上去还有点委屈是怎么回事（doge）。这事儿可是引起了不小的关注，连马斯克都现身评论区。

6/23/2025 8:50:00 AM

只改两行代码，RAG效率暴涨30%！多种任务适用，可扩展至百亿级数据规模应用

只需修改两行代码，RAG向量检索效率暴涨30%！不仅适用于文搜文”、“图搜图”、“文搜图”、“推荐系统召回”多种任务；而且具备良好扩展性，适合十亿、百亿级别大规模应用。浙江大学高云君、柯翔宇团队联手向量检索领域大佬傅聪，开源新方法PSP（Proximity graph with Spherical Pathway），突破RAG两大难题。

6/23/2025 8:49:00 AM

大模型掌握人类空间思考能力！三阶段训练框架学会“边画边想”，5个基准平均提升18.4%

“边看边画，边画边想”，让大模型掌握空间思考能力，结果直接实现空间推理任务新SOTA。来自蚂蚁技术研究院自然语言组联合中科院自动化所和香港中文大学开源ViLaSR-7B。它在包括迷宫导航、静态图像理解和视频空间推理等5个基准上平均提升18.4%。

6/23/2025 8:47:00 AM

陶哲轩罕见长长长长长访谈：数学、AI和给年轻人的建议

陶哲轩罕见接受了一次长长长长访谈，把他关于数学、AI、教育和人类智慧的最新认知，都对外分享了。作为菲尔兹奖得主，陶哲轩一直被认为是当世最伟大的数学家之一，而这次在与MIT技术背景的播客大神Lex Fridman的对话，也是他近年来首次接受超3小时的非学术机构访谈，内容覆盖数学前沿、AI形式化验证、科研方法论等多个硬核议题。不仅谈论分享了数学和物理相关的专业性观点，还结合当下AI技术迅速发展的背景，作出了很多像基础教育和AI应用的大众话题思考……陶哲轩金句频出，比如：AI和菲尔兹奖的距离，只差一个研究生了。

6/23/2025 8:45:00 AM

四个值得开发人员关注的 MCP 服务

大模型再聪明，也没法自己访问网页、读文件、连数据库，因为它就像被关在“盒子”里——只能对你说话，不能动手做事。这时候，MCP Server（Model Context Protocol 服务器）就登场了。它就像一把钥匙，打开了 AI 的“手脚”。

6/23/2025 8:35:00 AM

zone7

MCP：AI 界的“USB-C接口”，如何让大模型“能说会干”？

你有没有遇到过这种情况？让AI助手“帮我订明天去上海的机票”，它只会回你“建议你去XX平台搜索”，却没法真的点几下按钮把票订好？或者让它“给同事发封邮件说会议改期”，它写好内容后还得你自己复制到邮箱发送？

6/23/2025 8:05:00 AM

用户007

为什么AI编程助手需要接受安全审查

在采访中，Sonar的安全专家兼安全治理负责人Silviu Asandei讨论了AI代码助手如何改变开发工作流程并影响安全性，他解释了这些工具如何提高生产力，但如果未经过适当审查，也可能传播漏洞。 AI代码助手对开发者和企业可能忽视的安全风险有哪些?虽然AI代码助手提高了开发者的生产力，但它们在多个领域引入了重大且常被忽视的安全风险。在人为层面，过度依赖可能培养一种“虚假自信”，导致未经审查的不安全代码和开发者技能下降，这可能创造一个“生成式单一文化”，其中流行AI建议中的一个缺陷会被广泛复制。

6/23/2025 7:12:00 AM

Mirko Zorz

世界模型版《模拟人生》：AI虚拟小人街头演讲拉票，GPT-4o选举获胜

当世界模型高度进化后，里面的「人」都在做些什么？有人会进行街头演说，吸引到了不少听众，小孩会和机器狗玩：有人会当街作案，警察前去抓捕，又有人会在大庭广众之下求婚：本周五，来自马萨诸塞大学阿默斯特分校（UMass Amherst）、约翰霍普金斯大学、卡耐基梅隆大学的研究者们提出了一个神奇的研究：虚拟社区（Virtual Community）。虚拟社区将真实世界的地理空间数据与生成模型相结合，为多种不同类型的智能体创建了一个具有社会根基的交互式、可扩展开放世界场景。

6/23/2025 7:05:00 AM

机器之心

自主式AI在企业市场值得关注的九个应用场景

各企业正在部署不断进步的技术，以协助软件编程、创建高级商业智能以及自动化客户支持和人力资源职能。在过去一年中，智能体在GenAI带来的热潮逐渐退去、人们对不切实际的期望感到失望之后，或许成为了最受关注的技术。智能体将GenAI更进一步，强调运营决策而非内容生成，这种对业务流程产生影响的潜力，使得Aflac、Atlantic Health System、Legendary Entertainment以及NASA的喷气推进实验室等企业已经开始采用智能体。

6/23/2025 7:00:00 AM

Grant Gross

资讯热榜

李沐B站更新了！教你手搓语音大模型，代码全开源还能在线试玩 DeepRare 重磅发布：全球首个可循证智能体诊断系统，直击医学Last Exam难题考试提分新工具：网页版 ChatGPT 测试“学习和掌握”功能，AI 助你成学霸我测试了100+案例，教你零基础复刻外网刷屏的 AI 视频（附提示词模板） AI时代设计师如何突围？D20峰会揭示未来设计师生存法则一盘大棋！OpenAI「截胡」IMO金牌，奥特曼为GPT-5献上「核弹级」预热终结Coding？ShellAgent三句话造出马斯克同款「AI女友」！阿里云通义千问 Qwen3-Coder 宣布开源：480B 参数、原生支持 256K 上下文，可与 Claude Sonnet4 媲美

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini AI创作马斯克论文英伟达 Anthropic 智能体代码算法 Stable Diffusion 训练芯片开发者蛋白质腾讯生成式苹果 LLM 神经网络 AI新词 Claude 3D 研究生成机器学习 AI for Science xAI 计算人形机器人 Sora Agent AI视频 GPU AI设计百度华为搜索大语言模型工具场景字节跳动 RAG 大型语言模型预测具身智能深度学习伟达视觉 Transformer 神器推荐 AGI 亚马逊视频生成 Copilot DeepMind 模态架构 LLaMA