AI在线 AI在线

AI

从RLHF、PPO到GRPO再训练推理模型，这是你需要的强化学习入门指南

从RLHF、PPO到GRPO再训练推理模型，这是你需要的强化学习入门指南
强化学习（RL）已经成为当今 LLM 不可或缺的技术之一。 从大模型对齐到推理模型训练再到如今的智能体强化学习（Agentic RL），你几乎能在当今 AI 领域的每个领域看到强化学习的身影。 近日，Daniel Han 和 Michael Han 两兄弟组成的团队 Unsloth（用于微调模型的同名开源项目 GitHub 星数已超过 4 万）发布了一个强化学习教程，其中从吃豆人谈起，简单易懂地从 RLHF、PPO 介绍到 GRPO，还分享了如何用 GRPO 训练推理模型的技巧。
6/23/2025 9:07:00 AM
三个大模型合作，1000次迭代，竟能像人类科学家一样发现方程

三个大模型合作，1000次迭代，竟能像人类科学家一样发现方程
随着 AI4Science 的浪潮席卷科研各领域，如何将强大的人工智能模型真正用于分析科学数据、构建数学模型、发现科学规律，正成为该领域亟待突破的关键问题。 近日，中国科学院自动化研究所的研究人员提出了一种创新性框架 ——DrSR (Dual Reasoning Symbolic Regression)：通过数据分析与经验归纳 “双轮驱动”，赋予大模型像科学家一样 “分析数据、反思成败、优化模型” 的能力。 在 DrSR 中，三位 “虚拟科学家” 协同工作：一个善于洞察变量关系的 “数据科学家”；一个擅长总结失败教训与成功经验的 “理论科学家”；一个勇于尝试假设、不断优化模型的 “实验科学家”。
6/23/2025 9:04:00 AM
Sam Altman提醒创业者：ChatGPT将来要做的，大家就绕开吧

Sam Altman提醒创业者：ChatGPT将来要做的，大家就绕开吧
Y Combinator 最近在旧金山举办的 AI Startup School 活动，邀请了大量 AI 领域最具影响力的创始人和专家进行现场对谈和演讲，之前 Andrej Karpathy 在活动上的演讲视频爆火，现在 OpenAI CEO Sam Altman 的最新采访也已上线。 视频地址：，Altman 深入复盘了从早期创业艰辛到缔造 OpenAI 的完整历程。 他不仅分享了对雄心、责任及全球瞩目下如何前行的思考，还就早期关键决策、未来技术机遇、产品形态及个人领导哲学等话题，给出了深刻洞见。
6/23/2025 9:02:00 AM
开源版MetaQuery来了！OpenUni用1.1B参数媲美BLIP3-o-8B，数据代码完全开源

开源版MetaQuery来了！OpenUni用1.1B参数媲美BLIP3-o-8B，数据代码完全开源
随着 GPT-4o 展现出令人印象深刻的多模态能力，将视觉理解和图像生成统一到单一模型中已成为 AI 领域的研究趋势（如MetaQuery 和 BLIP3-o ）。 南洋理工大学 S-Lab 和商汤科技的研究团队推出 OpenUni，一个开源版 MetaQuery，仅用 1.1B 参数达到 8B 模型性能，更将代码、权重、数据全部开源！ 技术报告： OpenUni: A Simple Baseline for Unified Multimodal Understanding and Generation机构： 南洋理工大学 S-Lab、商汤科技新加坡研究院作者： Size Wu*,  Zhonghua Wu*, Zerui Gong* (* 同等贡献), Qingyi Tao, Sheng Jin, Qinyue Li, Wei Li, Chen Change Loy开源代码： ： [email protected]架构图，OpenUni 架构：通过 256 个可学习查询和 6 层轻量连接器，桥接冻结的 InternVL（理解）与 SANA（生成）图 1：OpenUni 在生成任务上的性能表现，展示了其高效的参数利用三大核心优势🏗️ 架构极简仅 6 层连接器，相比 MetaQuery 的 24 层大幅精简⚡ 参数高效1.1B 参数达到 GenEval 0.84 分，与 BLIP3-o-8B 模型性能相当 📂 完全开源模型权重 训练代码 2300 万数据集全部公开架构设计与训练策略OpenUni 遵循 MetaQuery 的设计理念，包含四个核心组件：1.256 个可学习查询 - 从用户指令中提取条件信息2.
6/23/2025 9:01:00 AM
​苹果欲以 300 亿美元收购 AI 新星 Perplexity，意图扭转搜索市场局势！

​苹果欲以 300 亿美元收购 AI 新星 Perplexity，意图扭转搜索市场局势！
近日，科技巨头苹果公司正在考虑收购一家迅速崛起的人工智能初创公司 Perplexity，传闻收购金额高达300亿美元。 这一收购计划若成行，将成为苹果历史上最大规模的并购，可能会彻底改变苹果在人工智能和搜索市场的地位。 根据报道，苹果首席执行官库克与高管们正在积极讨论这一收购方案。
6/23/2025 9:00:38 AM
AI在线
月之暗面「调教」出最强Agent，在「人类最后一场考试」拿下最新 SOTA

月之暗面「调教」出最强Agent，在「人类最后一场考试」拿下最新 SOTA
昨天，月之暗面发了篇博客，介绍了一款名为 Kimi-Researcher 的自主 Agent。 这款 Agent 擅长多轮搜索和推理，平均每项任务执行 23 个推理步骤，访问超过 200 个网址。 它是基于 Kimi k 系列模型的内部版本构建，并完全通过端到端智能体强化学习进行训练，也是国内少有的基于自研模型打造的 Agent。
6/23/2025 9:00:00 AM
ICML 2025 Oral | NAS老树开新花，NUS提出智能体超网，成本狂降55%

ICML 2025 Oral | NAS老树开新花，NUS提出智能体超网，成本狂降55%
本文第一作者为张桂彬，新加坡国立大学25Fall计算机科学博士生；本文在南洋理工大学的王琨博士、上海人工智能实验室的白磊老师、和中国科学技术大学的王翔教授指导下完成。 LLM 智能体的时代，单个 Agent 的能力已到瓶颈，组建像 “智能体天团” 一样的多智能体系统已经见证了广泛的成功。 但 “天团” 不是人越多越好，手动设计既费力又不讨好，现有的智能体自动化方法又只会 “一招鲜”，拿一套复杂阵容应对所有问题，导致 “杀鸡用牛刀”，成本高昂。
6/23/2025 8:57:00 AM
7B智能体仅凭9个任务训练即超越R1！上交大打造AI-for-AI新范式

7B智能体仅凭9个任务训练即超越R1！上交大打造AI-for-AI新范式
尽管人工智能（AI）在飞速发展，当前 AI 开发仍严重依赖人类专家大量的手动实验和反复的调参迭代，过程费时费力。 这种以人为中心的方式已成为制约创新速度和通向通用人工智能（AGI）的关键瓶颈。 为突破限制，AI-for-AI（AI4AI）应运而生。
6/23/2025 8:56:00 AM
舍弃CUDA编程！CMU等用几十行代码将LLM编译成巨型内核，推理延迟可降6.7倍

舍弃CUDA编程！CMU等用几十行代码将LLM编译成巨型内核，推理延迟可降6.7倍
在 AI 领域，英伟达开发的 CUDA 是驱动大语言模型（LLM）训练和推理的核心计算引擎。 不过，CUDA 驱动的 LLM 推理面临着手动优化成本高、端到端延迟高等不足，需要进一步优化或者寻找更高效的替代方案。 近日，CMU 助理教授贾志豪（Zhihao Jia）团队创新玩法，推出了一个名为「Mirage Persistent Kernel（MPK）」的编译器，可以自动将 LLM 转化为优化的巨型内核（megakernel），从而将 LLM 推理延迟降低 1.2 到 6.7 倍。
6/23/2025 8:55:00 AM
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力

监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
监督学习也能像强化学习一样进行“自我反思”了。 清华大学与英伟达、斯坦福联合提出新的监督学习方案——NFT（Negative-aware FineTuning），在RFT（Rejection FineTuning）算法基础上通过构造一个“隐式负向模型” 来额外利用负向数据进行训练。 这并不意味着使用“差数据”进行训练，而是在已知的模型计算结果前提下，通过负向数据训练正向模型，即“隐式负向策略（Implicit Negative Policy）”。
6/23/2025 8:52:00 AM
AI也会闹情绪了！Gemini代码调试不成功直接摆烂，马斯克都来围观

AI也会闹情绪了！Gemini代码调试不成功直接摆烂，马斯克都来围观
AI也会“闹自杀”了？ 一位网友让Gemini 2.5调试代码不成功后，居然得到了这样的答复——“I have uninstalled myself.”看上去还有点委屈是怎么回事（doge）。 这事儿可是引起了不小的关注，连马斯克都现身评论区。
6/23/2025 8:50:00 AM
只改两行代码，RAG效率暴涨30%！多种任务适用，可扩展至百亿级数据规模应用

只改两行代码，RAG效率暴涨30%！多种任务适用，可扩展至百亿级数据规模应用
只需修改两行代码，RAG向量检索效率暴涨30%！ 不仅适用于文搜文”、“图搜图”、“文搜图”、“推荐系统召回”多种任务；而且具备良好扩展性，适合十亿、百亿级别大规模应用。 浙江大学高云君、柯翔宇团队联手向量检索领域大佬傅聪，开源新方法PSP（Proximity graph with Spherical Pathway），突破RAG两大难题。
6/23/2025 8:49:00 AM
大模型掌握人类空间思考能力！三阶段训练框架学会“边画边想”，5个基准平均提升18.4%

大模型掌握人类空间思考能力！三阶段训练框架学会“边画边想”，5个基准平均提升18.4%
“边看边画，边画边想”，让大模型掌握空间思考能力，结果直接实现空间推理任务新SOTA。 来自蚂蚁技术研究院自然语言组联合中科院自动化所和香港中文大学开源ViLaSR-7B。 它在包括迷宫导航、静态图像理解和视频空间推理等5个基准上平均提升18.4%。
6/23/2025 8:47:00 AM
陶哲轩罕见长长长长长访谈：数学、AI和给年轻人的建议

陶哲轩罕见长长长长长访谈：数学、AI和给年轻人的建议
陶哲轩罕见接受了一次长长长长访谈，把他关于数学、AI、教育和人类智慧的最新认知，都对外分享了。 作为菲尔兹奖得主，陶哲轩一直被认为是当世最伟大的数学家之一，而这次在与MIT技术背景的播客大神Lex Fridman的对话，也是他近年来首次接受超3小时的非学术机构访谈，内容覆盖数学前沿、AI形式化验证、科研方法论等多个硬核议题。 不仅谈论分享了数学和物理相关的专业性观点，还结合当下AI技术迅速发展的背景，作出了很多像基础教育和AI应用的大众话题思考……陶哲轩金句频出，比如：AI和菲尔兹奖的距离，只差一个研究生了。
6/23/2025 8:45:00 AM
四个值得开发人员关注的 MCP 服务

四个值得开发人员关注的 MCP 服务
大模型再聪明，也没法自己访问网页、读文件、连数据库，因为它就像被关在“盒子”里——只能对你说话，不能动手做事。 这时候，MCP Server（Model Context Protocol 服务器） 就登场了。 它就像一把钥匙，打开了 AI 的“手脚”。
6/23/2025 8:35:00 AM
zone7
MCP：AI 界的“USB-C接口”，如何让大模型“能说会干”？

MCP：AI 界的“USB-C接口”，如何让大模型“能说会干”？
你有没有遇到过这种情况？ 让AI助手“帮我订明天去上海的机票”，它只会回你“建议你去XX平台搜索”，却没法真的点几下按钮把票订好？ 或者让它“给同事发封邮件说会议改期”，它写好内容后还得你自己复制到邮箱发送？
6/23/2025 8:05:00 AM
用户007
领英 CEO：AI 帖子润色功能受欢迎程度不及预期

领英 CEO：AI 帖子润色功能受欢迎程度不及预期
领英CEO瑞安・罗兰斯基透露，AI生成的帖子润色建议使用率低于预期。他认为领英内容门槛高，AI生成内容可能影响用户职业机会。同时，领英上AI相关技能需求激增。#职场AI##领英动态#
6/23/2025 7:12:54 AM
远洋
世界模型版《模拟人生》：AI虚拟小人街头演讲拉票，GPT-4o选举获胜

世界模型版《模拟人生》：AI虚拟小人街头演讲拉票，GPT-4o选举获胜
当世界模型高度进化后，里面的「人」都在做些什么？ 有人会进行街头演说，吸引到了不少听众，小孩会和机器狗玩：有人会当街作案，警察前去抓捕，又有人会在大庭广众之下求婚：本周五，来自马萨诸塞大学阿默斯特分校（UMass Amherst）、约翰霍普金斯大学、卡耐基梅隆大学的研究者们提出了一个神奇的研究：虚拟社区（Virtual Community）。 虚拟社区将真实世界的地理空间数据与生成模型相结合，为多种不同类型的智能体创建了一个具有社会根基的交互式、可扩展开放世界场景。
6/23/2025 7:05:00 AM
机器之心