训练

新注意力让大模型上下文内存占用砍半！精度不减还能加速2倍

大模型同样的上下文窗口，只需一半内存就能实现，而且精度无损？前苹果ASIC架构师Nils Graef，和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。它以标准多头注意力（MHA）为基准，对其中的value缓存处理过程进行了调整，实现了更少的内存占用。

3/18/2025 9:23:22 AM

量子位

8张GPU训出近SOTA模型，超低成本图像生成预训练方案开源

超低成本图像生成预训练方案来了——仅需8张GPU训练，就能实现近SOTA的高质量图像生成效果。划重点：开源。模型名为LightGen，由港科大Harry Yang团队联合Everlyn AI等机构打造，借助知识蒸馏（KD）和直接偏好优化（DPO）策略，有效压缩了大规模图像生成模型的训练流程。

3/18/2025 9:21:31 AM

量子位

ICLR 2025 Spotlight | 慕尼黑工业大学&北京大学：迈向无冲突训练的ConFIG方法

本文由慕尼黑工业大学与北京大学联合团队撰写。第一作者刘强为慕尼黑工业大学博士生。第二作者楚梦渝为北京大学助理教授，专注于物理增强的深度学习算法，以提升数值模拟的灵活性及模型的准确性和泛化性。

3/17/2025 9:15:00 AM

机器之心

MM-Eureka：极少数据实现多模态推理的R1-Zero时刻

尽管 DeepSeek-R1 在单模态推理中取得了显著成功，但已有的多模态尝试（如 R1-V、R1-Multimodal-Journey、LMM-R1）尚未完全复现其核心特征。例如，R1-V 仅在简单计数任务上表现出进步，未能实现回答长度的增长和顿悟时刻；R1-Multimodal-Journey 则在训练过程中回答长度反而降低；LMM-R1 虽然有所进步，但尚未在大规模图文数据训练中得到验证。而 Kimi 1.5 尽管表现突出，但并未开源其模型或数据。

3/14/2025 11:59:29 AM

机器之心

一家高校实验室，走出12家明星AI初创公司！Pieter Abbeel：我的NB学生们

一家高校实验室，能走出多少个知名 AI 初创公司的创始人？强化学习大牛、UC 伯克利教授 Pieter Abbeel 浅浅统计了一番：我带过的学生里，也就 12 个吧。这些公司的名气都不小：OpenAI、Perplexity、Physical Intelligence、Inception AI、Reflection…… 相信你都听说过。

3/14/2025 9:24:29 AM

机器之心

“谷歌版DeepSeek”接入机器人，思维链解锁折纸系鞋带技能，推理模型代入物理世界

谷歌把推理大模型带入物理世界，机器人可以一边思考一边动作了!成功解锁折纸、系鞋带这种精细技能。灵活性方面也拉满，能及时根据环境变化改变计划，根本不怕人类捣乱。还可以适应机械臂、人形机器人等不同身体形态。

3/13/2025 12:44:56 PM

量子位

DeepSeek玩家能提前拿苹果新品！只要15万元，在家跑满血版R1

号称地表最强的M3 Ultra，本地跑满血版DeepSeek R1，效果到底如何？其实，有些DeepSeek玩家们已经提前拿到手做过实测了。例如这位Alex老哥就是其中之一：他提前拿到了两台搭载M3 Ultra的Mac Studio，配置是这样的：M3 Ultra（32 核中央处理器、80 核图形处理器和 32 核神经网络引擎）512G统一内存1TB固态硬盘具体来说，Alex老哥用配备Thunderbolt 5互连技术（传输速率为 80Gbps）的EXO Labs设备，来运行完整的DeepSeek R1模型（671B、8-bit）。

3/13/2025 12:41:37 PM

量子位

只需7.6% token，性能还更强！华人团队提全新「草稿链」CoD，成本延迟大降

当下，企业正处于部署AI的关键节点。随着AI系统在企业运营中的深度融合，计算成本与响应时间成为阻碍AI广泛应用的主要瓶颈。来自Zoom的华人研究团队取得了一项突破性成果，他们开发的「草稿链」（Chain of Draft，CoD）技术，有望从根本上改变企业大规模部署AI的模式。

3/13/2025 10:40:00 AM

新智元

多模态训练后模型能力雪崩，上海AI Lab全面探索MLLM偏好对齐与模态融合

在实际应用过程中，闭源模型（GPT-4o）等在回复的全面性、完备性、美观性等方面展示出了不俗的表现。与之相反的是，在General VQA任务上表现最好的开源模型（如InternVL2-78B）在面对开放式、需要知识储备的问题时，表现不尽人意：△InternVL2-78B和GPT-4o在回复的完备性和美观性上有较大差距上述现象引发了上海交大、上海AI Lab等联合团队的思考。他们首先猜测：MLLM的回复质量下降可能是因为经过了多模态数据训练之后，LLM本身的能力退化。

3/13/2025 9:47:29 AM

量子位

多步推理碾压GPT-4o，无需训练性能提升10%！斯坦福开源通用框架OctoTools

大型语言模型（LLMs）目前仍然很难处理需要多步骤推理、特定领域知识或外部工具集成的复杂任务，有研究工作探索了使用预先构建的外部工具来增强LLMs处理复杂任务的能力，但这些方法需要对模型进行微调或额外训练以实现工具的集成，在不同任务之间难以灵活适应。现有的方法要么依赖于静态的、预定义的工具集，要么缺乏高效的工具选择和规划机制，这种低效性会导致任务执行出错、计算成本增加，以及在应用于新领域时适应性受限。传统增强LLMs的方法包括少量样本提示（few-shot prompting）、思维链（chain-of-thought reasoning）以及与外部工具接口的功能调用API；有的框架如LangChain和AutoGen允许LLMs够使用外部资源，但通常智能用于指定应用场景或需要大量的预配置，没有提供一种统一的多步骤规划和执行方法，因此在处理复杂推理问题时效果不佳。

3/12/2025 10:38:05 AM

新智元

快慢双系统！清华&博世最新Chameleon：无需训练即可解决复杂道路拓扑（ICRA'25）

在自动驾驶技术中，车道拓扑提取是实现无地图导航的核心任务之一。它要求系统不仅能检测出车道和交通元素（如交通灯、标志），还要理解它们之间的复杂关系。例如，判断车辆是否可以左转进入某条车道，就需要综合考虑交通规则、车道布局和信号灯状态等多种因素。

3/12/2025 10:07:06 AM

自动驾驶之心

揭示显式CoT训练机制：思维链如何增强推理泛化能力

基于逐步生成解决方案的大语言模型（LLMs）训练范式在人工智能领域获得了广泛关注，并已发展成为行业内的主流方法之一。例如，OpenAI 在其「12 Days of OpenAI」直播系列的第二日推出了针对 O1 模型的强化微调（Reinforcement Fine-Tuning，RFT），进一步推动了 AI 定制化的发展[1]。 RFT/ReFT[2] 的一个关键组成部分是使用思维链（Chain-of-Thought，CoT）注释[3] 进行监督微调（Supervised Fine-Tuning，SFT）。

3/12/2025 9:48:19 AM

机器之心

18项任务200万视频编辑对，云天励飞联合多高校打造出大规模编辑数据集

目前的视频编辑算法主要分为两种：一种是利用 DDIM-Inversion 完成视频编辑，另一种是利用训练好的编辑模型。然而，前者在视频的一致性和文本对齐方面存在较大缺陷；后者由于缺乏高质量的视频编辑对，难以获得理想的编辑模型。为了解决视频编辑模型缺乏训练数据的问题，本文作者（来自香港中文大学、香港理工大学、清华大学等高校和云天励飞）提出了一个名为 Señorita-2M 的数据集。

3/12/2025 9:40:28 AM

机器之心