训练

推荐大模型来了？OneRec论文解读：端到端训练如何同时吃掉效果与成本

人人都绕不开的推荐系统，如今正被注入新的 AI 动能。随着 AI 领域掀起一场由大型语言模型（LLM）引领的生成式革命，它们凭借着强大的端到端学习能力、海量数据理解能力以及前所未有的内容生成潜力，开始重塑各领域的传统技术栈。作为互联网流量的核心引擎，推荐系统面临着级联架构导致的算力碎片化、优化目标割裂等问题，并逐渐制约其创新发展。

6/20/2025 9:03:00 AM

美团提出首个语音交互GUI智能体，端到端语音训练能力优于传统文本训练

只需要动动嘴就可以驱动GUI代理？由美团和浙江大学联合推出的GUIRoboTron-Speech——让用户解放双手，直接对计算机“发号施令”。这是首个能够直接利用语音指令和设备屏幕截图进行端到端（End-to-End）决策的自主GUI智能体，旨在为用户提供更直接、高效且无障碍的交互体验。

6/20/2025 9:00:00 AM

20个样本，搞定多模态思维链！UCSC重磅开源：边画框，边思考

现有开源多模态推理模型（Multimodal Reasoning Model）生成的推理链几乎都是纯自然语言，缺少对图像信息的显式引用与整合。让多模态大语言模型（MLLM）既能条理清晰的思考，又能真正将推理过程「落到画面」上，在实现上仍然存在两个难点：1. 全是自然语言的思考内容看似很长，其内容有可能脱离图像信息，不一定能真正「看图说话」；2.

6/19/2025 9:15:00 AM

清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练

随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。此前，清华大学陈键飞团队提出的即插即用的 SageAttention 和 SageAttention2 已经被业界及社区广泛的使用于各种开源及商业的大模型中，比如 Vidu，CogvideoX，Mochi，Wan，HunyuanVideo，Flux，Llama3，Qwen 等。近日，清华大学陈键飞团队进一步提出了针对 BlackWell 架构的首个全 FP4 量化的即插即用注意力算子（SageAttention3）。

6/19/2025 9:07:00 AM

75%预训练数据都能删！Jeff Dean新作：全自动筛除低质量数据

机器学习领域有一条铁律，「Garbage In, Garbage Out.」，就是说模型的质量很大程度上取决于训练数据的质量。大模型在预训练阶段会吸收海量的数据，其中数据的来源非常杂，导致质量参差不齐。大量的实验和经验已经证明了，对预训练数据进行质量筛选是提高模型能力和效率的关键。

6/19/2025 8:50:00 AM

微软分享三大王炸算法：突破大模型推理瓶颈，性能大涨

今天凌晨，微软在官网分享了自研的三大创新算法，以帮助大模型增强其推理能力。无论你是小参数或者是大参数模型玩家，都能从rStar-Math、LIPS 、CPL这三大算法获益，突破推理瓶颈，极大增强模型的数学推理和思考链的能力。 rStar-MathrStar-Math算法主要通过蒙特卡洛树搜索（MCTS）实现深度思考。

6/18/2025 9:06:00 AM

搜索智能体RAG落地不佳？UIUC开源s3，仅需2.4k样本，训练快效果好

当前，Agentic RAG（Retrieval-Augmented Generation）正逐步成为大型语言模型访问外部知识的关键路径。但在真实实践中，搜索智能体的强化学习训练并未展现出预期的稳定优势。一方面，部分方法优化的目标与真实下游需求存在偏离，另一方面，搜索器与生成器间的耦合也影响了泛化与部署效率。

6/17/2025 9:04:33 AM

SFT+RL双管齐下：ReasonGen-R1如何破解文生图「指令不遵」难题？

近年来，链式推理和强化学习已经被广泛应用于大语言模型，让大语言模型的推理能力得到了显著提升。然而，在图像生成模型中，这种成功经验尚未得到充分探索。图像生成模型往往直接依据给定文本生成图像，缺乏类似人类创作过程中的推理，导致生成的图像在语义遵循上仍有一定局限。

6/17/2025 8:47:00 AM

网页智能体新突破！引入协同进化世界模型，腾讯AI Lab提出新框架

让网页智能体自演进突破性能天花板！腾讯AI Lab提出WebEvolver框架，通过引入协同进化的世界模型（World Model），让智能体在真实网页环境中实现10%的性能提升。由此突破现有基于大语言模型（LLM）的网页智能体“自我迭代演进的性能最终会停滞”的瓶颈。

6/16/2025 2:40:40 PM

黄仁勋发布量子计算专用CUDA！预言量子计算机几年内应用，但现在还离不开GB200

“量子计算正在到达一个拐点。 ”在GTC巴黎的演讲中，英伟达CEO黄仁勋对量子计算给出了新的论断。这次，老黄一改此前“实用量子计算机还要20年”的观点，预言量子计算机的实际应用在几年内就能实现。

6/13/2025 9:06:00 AM

256块NPU训成8B视频模型、超越Sora等一众闭源！抖音内容技术团队开源ContentV

近日，抖音内容技术团队开源了 ContentV，一种面向视频生成任务的高效训练方案。该方案在多项技术优化的基础上，使用 256 块 NPU，在约 4 周内完成了一个 8B 参数模型的训练。尽管资源有限，ContentV 在多个评估维度上取得了与现有主流方案相近的生成效果。

6/13/2025 9:03:00 AM

何恺明改进了谢赛宁的REPA：极大简化但性能依旧强悍

在建模复杂的数据分布方面，扩散生成模型表现出色，不过它的成果大体上与表征学习（representation learning）领域关联不大。通常来说，扩散模型的训练目标包含一个专注于重构（例如去噪）的回归项，但缺乏为生成学习到的表征的显式正则化项。这种图像生成范式与图像识别范式差异明显 —— 过去十年来，图像识别领域的核心主题和驱动力一直是表征学习。

6/13/2025 8:53:00 AM

CVPR 2025 多模态大一统：斯坦福 x 复旦提出符号主义建模生成式任务

共同第一作者包括：陈家棋，斯坦福大学访问学者，复旦大学硕士，研究方向为 LLM Agent和大一统模型；朱小烨，华南理工大学本科，研究方向为 LLM Agent、LLM 和强化学习；王越，康奈尔大学本科，研究方向为 LLM Agent、多模态语言模型。指导老师：Julian McAuley（UCSD）、Li-jia Li (IEEE Fellow, LiveX AI)。在人工智能内容创作蓬勃发展的今天，跨模态生成技术正在重塑艺术创作和视觉表达的边界。

6/13/2025 8:46:00 AM

深度学习中Batch Size对训练过程如何影响？

之前面试过程中被问到过两个问题：（1）深度学习中batch size的大小对训练过程的影响是什么样的？（2）有些时候不可避免地要用超大batch，比如人脸识别，可能每个batch要有几万甚至几十万张人脸图像，训练过程中超大batch有什么优缺点，如何尽可能地避免超大batch带来的负面影响？面试版回答在不考虑Batch Normalization的情况下（这种情况我们之后会在bn的文章里专门探讨），先给个自己当时回答的答案吧（相对来说学究一点）：(1) 不考虑bn的情况下，batch size的大小决定了深度学习训练过程中的完成每个epoch所需的时间和每次迭代(iteration)之间梯度的平滑程度。

6/13/2025 2:55:00 AM

grok