训练

UC伯克利新作颠覆认知：LLM靠「自信爆表」学会推理？无需外部奖励超进化

就在刚刚，UC伯克利CS博士后Xuandong Zhao，分享出来自己「今年参与的最鼓舞人心的工作」。他和同事们发现，在没有外部奖励的情况下，LLM竟然只靠「自信爆棚」，就学会了复杂推理？论文地址：，竟能学会复杂推理LLM不靠外部奖励，就能自己学会复杂推理，这个结论实在很出乎意料。

6/3/2025 8:38:00 AM

10个小模型并联跑赢GPT-4.1！无额外训练，方法仅四步

近年来，语言模型技术迅速发展，然而代表性成果如Gemini 2.5Pro和GPT-4.1，逐渐被谷歌、OpenAI等科技巨头所垄断。与此同时，开源社区的小规模模型正面临日益严峻的挑战——他们参数规模通常仅在7B左右，难以在多任务、多领域场景中与大型闭源模型相抗衡，尚未形成真正意义上的通用人工智能能力。在此背景下，上海人工智能实验室联合东北大学、西北工业大学等机构，提出了Avengers框架，旨在探索开源小模型群体智能的新路径。

6/3/2025 8:12:00 AM

谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍

在大语言模型（LLM）领域，推理效率是制约其实际应用的关键因素之一。谷歌 DeepMind 的 Gemini diffusion 曾以 1400 tokens / 秒的生成速度震惊学界，展现了扩散模型在并行生成上的潜力。然而，开源扩散 LLM 却因缺乏 KV 缓存机制和并行解码质量衰退，实际推理速度长期被自回归模型压制.近日，NVIDIA 联合香港大学、MIT 等机构重磅推出 Fast-dLLM，以无需训练的即插即用加速方案，实现了推理速度的突破！

5/30/2025 3:52:05 PM

波士顿动力机器人进厂打工现逆天操作！3D感知+实时追踪，人类捣乱完全不带怕的

波士顿动力带机器人看世界，Altas重磅升级了！现在，它具备3D空间感知和实时物体追踪能力，可以自主执行更复杂的工业任务。请看Altas在汽车工厂打工VCR：小哥故意将汽车零部件丢在地上，只见它360°转动头部环顾四周，随后成功识别并将其放入正确位置：（就是偷感好重，笑死）故意移动装置位置，它也能精准感知到变化：然后依旧稳稳地将零部件放入槽内：头部和腰部都可360°旋转，干起活来那叫一个麻利：据介绍，Altas的一系列功能升级源于波士顿动力团队对Altas感知系统进行的全新设计，融合了2D与3D感知技术、物体位姿追踪，以及基于物理特性的精确校准方案。

5/30/2025 9:19:00 AM

RSS 2025｜从说明书学习复杂机器人操作任务：NUS邵林团队提出全新机器人装配技能学习框架Manual2Skill

本文共同第一作者为新加坡国立大学博士生铁宸睿和多伦多大学研究助理/本科生孙圣翔。合作者为朱锦轩、刘益伟、郭京翔、胡越、陈浩楠、陈俊廷、吴睿海。通讯作者为新加坡国立大学计算机学院助理教授邵林，研究方向为机器人和人工智能。

5/30/2025 8:55:00 AM

还得是华为！Pangu Ultra MoE架构：不用GPU，你也可以这样训练准万亿MoE大模型

Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型，此前发布了英文技术报告[1]。最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告，进一步披露了这个模型的细节。训练超大规模和极高稀疏性的 MoE 模型极具挑战，训练过程中的稳定性往往难以保障。

5/30/2025 8:45:00 AM

阿里通义发布并行计算新策略：1.6B等效4.4B，内存消耗骤降95%

既能提升模型能力，又不显著增加内存和时间成本，LLM第三种Scaling Law被提出了。对于1.6B模型，能实现性能接近4.4B模型，内存占用仅为后者的1/22，延迟增加量为1/6。并且可直接应用于现有模型（如Qwen-2.5），无需从头训练。

5/29/2025 9:14:00 AM

阿里开源长文本深度思考模型！渐进式强化学习破解长文本训练难题，登HuggingFace热榜

推理大模型开卷新方向，阿里开源长文本深度思考模型QwenLong-L1，登上HuggingFace今日热门论文第二。其32B参数版本超过OpenAI-o3-mini、Qwen3-235B-A22B等，取得与Claude-3.7-Sonnet-Thingking相当的性能。除测评分数外，论文中还详细展示了一个金融文档推理的案例。

5/28/2025 9:09:00 AM

「DeepSeek 技术解析」：LLM 训练中的强化学习算法

我们将深入探讨 DeepSeek 模型训练策略中的关键创新之一[1, 2]：群组相对策略优化（Grouped Relative Policy Optimization，GRPO）[3]。为确保本文自成体系并阐明 GRPO 的理论基础，我们将首先介绍强化学习的基础概念，重点解析强化学习（RL）及基于人类反馈的强化学习（RLHF）在 LLM 训练中的核心作用。接着我们将探讨不同的强化学习范式，包括基于价值的强化学习、基于策略的强化学习和 Actor-Critic 强化学习，回顾经典算法如置信域策略优化（TRPO）和近端策略优化（PPO），最后解析 GRPO 带来的优化创新。

5/28/2025 2:25:00 AM

Baihai IDP

5%参数比肩DeepSeek满血R1！北大“小”模型靠分合蒸馏，打破推理成本下限

只用5%的参数，数学和代码能力竟然超越满血DeepSeek？北京大学杨仝教授团队近期发布了其在高效大型语言模型研究方向的一项新成果——FairyR1-32B模型。该模型基于DeepSeek-R1-Distill-Qwen-32B基座，通过结合微调与模型合并技术构建。

5/27/2025 3:40:34 PM

扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧

首个用于加速扩散式大语言模型（diffusion-based Large Language Models, 简称 dLLMs）推理过程的免训练方法。上海交通大学EPIC Lab团队提出了一种无需训练、即插即用的高效推理缓存机制：dLLM-Cache。其核心思想在于，在一个多步去噪过程中，复用相邻时间步上变化较小的特征，仅更新那些变化较大的特征，从而实现了计算量的大幅降低，并保持了原有的生成质量。

5/27/2025 3:28:11 PM

让视觉语言模型像o3一样动手搜索、写代码！Visual ARFT实现多模态智能体能力

在大型推理模型（例如 OpenAI-o3）中，一个关键的发展趋势是让模型具备原生的智能体能力。具体来说，就是让模型能够调用外部工具（如网页浏览器）进行搜索，或编写/执行代码以操控图像，从而实现「图像中的思考」。尽管开源研究社区在纯文本的智能体能力方面（比如函数调用和工具集成）已取得显著进展，但涉及图像理解与操作的多模态智能体能力及其对应的评估体系仍处于起步阶段。

5/27/2025 3:23:05 PM

刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿

OpenAI前研究员大佬、如今的Thinking Machines Lab联创Lilian Weng，刚刚转发了一个神秘产品——一个看似仪表盘的东西。或许，这就将是公司即将打造的第一个爆品？这个产品所揭示的理念，可谓十分惊人——在训练过程中，研究人员可以直接用它来手动调整所有的超参数了！

5/27/2025 8:40:00 AM

矩阵乘法新突破！XX^T原来可以更快！RL助力搜索，世界纪录又被提升了5%

深圳市大数据研究院、香港中文大学（深圳）研究团队最新研究发现，这类特殊的矩阵乘法可以进一步加速，并在强化学习与组合优化技术的结合下发掘出了一种新的算法，节省 5% 的乘法数量。论文标题：XXt Can Be Faster论文链接： X 引发热烈讨论，并引起 MIT、斯坦福、哈佛及 Google DeepMind 科学家的广泛关注。背景矩阵乘法优化堪称计算机科学领域的「珠穆朗玛峰」。

5/26/2025 8:41:00 AM

英伟达让机器人「做梦学习」，靠梦境实现真·从0泛化

「仿生人会梦见电子羊吗？」这是科幻界一个闻名遐迩的问题。现在英伟达给出答案：Yes！

5/22/2025 9:06:00 AM

瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊

京东探索研究院关于大模型的最新研究，登上了Nature旗下期刊！该项研究提出了一种在开放环境场景中训练、更新大模型，并与小模型协同部署的系统与方法。它通过模型蒸馏、数据治理、训练优化与云边协同四大创新，这个项目将大模型推理效率平均提升30%，训练成本降低70%。

5/21/2025 1:54:20 PM

字节跳动开源多模态模型 BAGEL：图文生成与编辑的新突破

字节跳动发布了一款名为 BAGEL 的开源多模态基础模型，拥有70亿个活跃参数，整体参数量达到140亿。 BAGEL 在标准多模态理解基准测试中表现出色，超越了当前一些顶级开源视觉语言模型，如 Qwen2.5-VL 和 InternVL-2.5。此外，在文本到图像的生成质量上，BAGEL 的表现也与强大的专业生成器 SD3相媲美。

5/21/2025 12:01:15 PM

AI在线

DeepSeek发布大模型训练端到端论文，展示卓越工程深度

近日，DeepSeek发布了一篇关于大模型训练的最佳端到端技术论文，引发业界广泛关注。该论文全面阐述了DeepSeek在大模型研发中的技术突破，涵盖软件、硬件及混合优化方案，展现了其令人惊叹的工程深度。在**软件**层面，论文详细介绍了多头潜在注意力机制（MLA），显著降低推理过程中的内存占用;FP8混合精度训练通过低精度计算提升效率，同时保证数值稳定性;DeepEP通信库优化了专家并行(EP)通信，支持FP8低精度操作，加速MoE模型训练与推理;LogFMT对数浮点格式则通过均匀化激活分布，进一步优化计算效率。

5/21/2025 11:01:05 AM