AI在线 AI在线

训练

RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活

RL后训练步入超节点时代！华为黑科技榨干算力，一张卡干俩活
在大模型竞赛白热化的当下，「强化学习后训练」已成为突破LLM性能天花板的核心路径。 爆火出圈的OpenAI o1、DeepSeek-R1等模型，背后都是依靠RL后训练点石成金。 相较于预训练阶段的「广撒网」式知识获取，RL 后训练通过驱动模型与外部环境进行动态交互，直接塑造了LLM在复杂任务中的推理效能。
6/6/2025 8:55:00 AM
重磅开源！首个全异步强化学习训练系统来了，SOTA推理大模型RL训练提速2.77倍

重磅开源！首个全异步强化学习训练系统来了，SOTA推理大模型RL训练提速2.77倍
来自清华大学交叉信息院和蚂蚁技术研究院的联合团队，正式开源全异步强化学习训练系统 —— AReaL-boba² (AReaL v0.3)。 作为 AReaL 里程碑版本 AReaL-boba 的重磅升级，AReaL-boba² (正式全名：A-ReaL-double-boba) 坚持 boba 系列 “全面开源、极速训练、深度可定制” 的开发理念，再次加量：除了更全的功能和更详细的文档说明，更以全异步 RL 为核心，发布 SOTA 代码模型，全面奔向 Agentic RL：🚀 效率再突破： 全面实现异步 RL 训练，完全解耦模型生成与训练，效果不变的前提下训练速度对比上一版本最高提升 2.77 倍，GPU 资源利用率大幅优化。 📚 上手零门槛： 新增详细教程 (Step-by-Step Tutorials) 和深度文档 (Comprehensive Documentation)，覆盖安装、核心概念、算法 / 模型定制化到问题排查，新手友好，老手高效。
6/5/2025 8:40:00 AM
英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限

英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限
强化学习（RL）到底是语言模型能力进化的「发动机」，还是只是更努力地背题、换个方式答题？ 这个问题，学界争论已久：RL 真能让模型学会新的推理技能吗，还是只是提高了已有知识的调用效率？ 过去的研究多数持悲观态度：认为 RL 带来的收益非常有限，有时甚至会让模型「同质化」加重，失去多样性。
6/4/2025 1:56:06 PM
超越GPT-4o！华人团队新框架让Qwen跨领域推理提升10%，刷新12项基准测试

超越GPT-4o！华人团队新框架让Qwen跨领域推理提升10%，刷新12项基准测试
一项新的强化学习方法，直接让Qwen性能大增，GPT-4o被赶超！ 来自加拿大滑铁卢大学与TikTok新加坡，M-A-P的华人团队提出了一种全新训练框架：General-Reasoner。 结果直接让Qwen系列大模型的跨领域推理准确率提升近10%，在多个基准测试中甚至超越GPT-4o。
6/4/2025 9:05:18 AM
视觉感知驱动的多模态推理，阿里通义提出VRAG，定义下一代检索增强生成

视觉感知驱动的多模态推理，阿里通义提出VRAG，定义下一代检索增强生成
在数字化时代，视觉信息在知识传递和决策支持中的重要性日益凸显。 然而，传统的检索增强型生成（RAG）方法在处理视觉丰富信息时面临着诸多挑战。 一方面，传统的基于文本的方法无法处理视觉相关数据；另一方面，现有的视觉 RAG 方法受限于定义的固定流程，难以有效激活模型的推理能力。
6/4/2025 8:42:00 AM
训练MoE足足提速70%！华为只用了三招

训练MoE足足提速70%！华为只用了三招
Scaling Law之下，MoE（混合专家）如今已经成为各大模型厂商扩展模型能力的制胜法宝。 不过，在高效实现模型参数规模化的同时，MoE的训练难题也日益凸显：训练效率不足，甚至一半以上训练时间都浪费在“等待”上。 现在，为了突破MoE的训练瓶颈，华为出手了：构建了一套名为Adaptive Pipe & EDPB的优化方案，开启“上帝视角”，让MoE面临“交通拥堵”的训练集群，实现无等待流畅运行。
6/3/2025 5:37:49 PM
经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决

经典ReLU回归！重大缺陷「死亡ReLU问题」已被解决
在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。 例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。 尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏性及其他优势拓扑特性而广受青睐。
6/3/2025 5:37:10 PM
无需人工标注！AI自生成训练数据，靠「演绎-归纳-溯因」解锁推理能力

无需人工标注！AI自生成训练数据，靠「演绎-归纳-溯因」解锁推理能力
当AI试图破解数学、编程与科学的难题时，它常常像一位灵感乍现的天才，却又难以稳定发挥。 新加坡国立大学、清华大学和Salesforce AI Research的研究者，提出了一种革命性的训练框架——元能力对齐，赋予模型稳健的推理能力，让顿悟成为常态。 论文链接：，能够高效地系统化培养大模型的数学，编程和科学问题上的基本推理能力。
6/3/2025 9:05:00 AM
挑战强化学习后训练霸权！全新无监督方法仅需1条数据+10步优化

挑战强化学习后训练霸权！全新无监督方法仅需1条数据+10步优化
无需标注数据、无需繁琐奖励设计，只用10步就能见效——「熵最小化」或许比强化学习更适合大语言模型快速升级。 强化学习（RL）近年来在大语言模型（LLM）的微调中大获成功，但高昂的数据标注成本、复杂的奖励设计和漫长的训练周期，成为制约RL进一步应用的瓶颈。 Ubiquant研究团队提出了一种极为简单有效的无监督方法——One Shot熵最小化（Entropy Minimization，EM），仅用一条无标签数据，训练10步内即可显著提升LLM性能，甚至超过使用成千上万数据的RL方法。
6/3/2025 8:49:00 AM
UC伯克利新作颠覆认知：LLM靠「自信爆表」学会推理？无需外部奖励超进化

UC伯克利新作颠覆认知：LLM靠「自信爆表」学会推理？无需外部奖励超进化
就在刚刚，UC伯克利CS博士后Xuandong Zhao，分享出来自己「今年参与的最鼓舞人心的工作」。 他和同事们发现，在没有外部奖励的情况下，LLM竟然只靠「自信爆棚」，就学会了复杂推理？ 论文地址：，竟能学会复杂推理LLM不靠外部奖励，就能自己学会复杂推理，这个结论实在很出乎意料。
6/3/2025 8:38:00 AM
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅四步

10个小模型并联跑赢GPT-4.1！无额外训练，方法仅四步
近年来，语言模型技术迅速发展，然而代表性成果如Gemini 2.5Pro和GPT-4.1，逐渐被谷歌、OpenAI等科技巨头所垄断。 与此同时，开源社区的小规模模型正面临日益严峻的挑战——他们参数规模通常仅在7B左右，难以在多任务、多领域场景中与大型闭源模型相抗衡，尚未形成真正意义上的通用人工智能能力。 在此背景下，上海人工智能实验室联合东北大学、西北工业大学等机构，提出了Avengers框架，旨在探索开源小模型群体智能的新路径。
6/3/2025 8:12:00 AM
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍

谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
在大语言模型（LLM）领域，推理效率是制约其实际应用的关键因素之一。 谷歌 DeepMind 的 Gemini diffusion 曾以 1400 tokens / 秒的生成速度震惊学界，展现了扩散模型在并行生成上的潜力。 然而，开源扩散 LLM 却因缺乏 KV 缓存机制和并行解码质量衰退，实际推理速度长期被自回归模型压制.近日，NVIDIA 联合香港大学、MIT 等机构重磅推出 Fast-dLLM，以无需训练的即插即用加速方案，实现了推理速度的突破！
5/30/2025 3:52:05 PM
波士顿动力机器人进厂打工现逆天操作！3D感知+实时追踪，人类捣乱完全不带怕的

波士顿动力机器人进厂打工现逆天操作！3D感知+实时追踪，人类捣乱完全不带怕的
波士顿动力带机器人看世界，Altas重磅升级了！ 现在，它具备3D空间感知和实时物体追踪能力，可以自主执行更复杂的工业任务。 请看Altas在汽车工厂打工VCR：小哥故意将汽车零部件丢在地上，只见它360°转动头部环顾四周，随后成功识别并将其放入正确位置：（就是偷感好重，笑死）故意移动装置位置，它也能精准感知到变化：然后依旧稳稳地将零部件放入槽内：头部和腰部都可360°旋转，干起活来那叫一个麻利：据介绍，Altas的一系列功能升级源于波士顿动力团队对Altas感知系统进行的全新设计，融合了2D与3D感知技术、物体位姿追踪，以及基于物理特性的精确校准方案。
5/30/2025 9:19:00 AM
RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill

RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill
本文共同第一作者为新加坡国立大学博士生铁宸睿和多伦多大学研究助理/本科生孙圣翔。 合作者为朱锦轩、刘益伟、郭京翔、胡越、陈浩楠、陈俊廷、吴睿海。 通讯作者为新加坡国立大学计算机学院助理教授邵林，研究方向为机器人和人工智能。
5/30/2025 8:55:00 AM
还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型

还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型
Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。 最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。 训练超大规模和极高稀疏性的 MoE 模型极具挑战，训练过程中的稳定性往往难以保障。
5/30/2025 8:45:00 AM
阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%

阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%
既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。 对于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。 并且可直接应用于现有模型（如Qwen-2.5），无需从头训练。
5/29/2025 9:14:00 AM
阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜

阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜
推理大模型开卷新方向，阿里开源长文本深度思考模型QwenLong-L1，登上HuggingFace今日热门论文第二。 其32B参数版本超过OpenAI-o3-mini、Qwen3-235B-A22B等，取得与Claude-3.7-Sonnet-Thingking相当的性能。 除测评分数外，论文中还详细展示了一个金融文档推理的案例。
5/28/2025 9:09:00 AM
「DeepSeek 技术解析」：LLM 训练中的强化学习算法

「DeepSeek 技术解析」：LLM 训练中的强化学习算法
我们将深入探讨 DeepSeek 模型训练策略中的关键创新之一[1, 2]：群组相对策略优化（Grouped Relative Policy Optimization，GRPO）[3]。 为确保本文自成体系并阐明 GRPO 的理论基础，我们将首先介绍强化学习的基础概念，重点解析强化学习（RL）及基于人类反馈的强化学习（RLHF）在 LLM 训练中的核心作用。 接着我们将探讨不同的强化学习范式，包括基于价值的强化学习、基于策略的强化学习和 Actor-Critic 强化学习，回顾经典算法如置信域策略优化（TRPO）和近端策略优化（PPO），最后解析 GRPO 带来的优化创新。
5/28/2025 2:25:00 AM
Baihai IDP