训练
ICLR 2025 Spotlight | 慕尼黑工业大学&北京大学:迈向无冲突训练的ConFIG方法
本文由慕尼黑工业大学与北京大学联合团队撰写。 第一作者刘强为慕尼黑工业大学博士生。 第二作者楚梦渝为北京大学助理教授,专注于物理增强的深度学习算法,以提升数值模拟的灵活性及模型的准确性和泛化性。
3/17/2025 9:15:00 AM
机器之心
MM-Eureka:极少数据实现多模态推理的R1-Zero时刻
尽管 DeepSeek-R1 在单模态推理中取得了显著成功,但已有的多模态尝试(如 R1-V、R1-Multimodal-Journey、LMM-R1)尚未完全复现其核心特征。 例如,R1-V 仅在简单计数任务上表现出进步,未能实现回答长度的增长和顿悟时刻;R1-Multimodal-Journey 则在训练过程中回答长度反而降低;LMM-R1 虽然有所进步,但尚未在大规模图文数据训练中得到验证。 而 Kimi 1.5 尽管表现突出,但并未开源其模型或数据。
3/14/2025 11:59:29 AM
机器之心
一家高校实验室,走出12家明星AI初创公司!Pieter Abbeel:我的NB学生们
一家高校实验室 ,能走出多少个知名 AI 初创公司的创始人? 强化学习大牛、UC 伯克利教授 Pieter Abbeel 浅浅统计了一番:我带过的学生里,也就 12 个吧。 这些公司的名气都不小:OpenAI、Perplexity、Physical Intelligence、Inception AI、Reflection…… 相信你都听说过。
3/14/2025 9:24:29 AM
机器之心
“谷歌版DeepSeek”接入机器人,思维链解锁折纸系鞋带技能,推理模型代入物理世界
谷歌把推理大模型带入物理世界,机器人可以一边思考一边动作了!成功解锁折纸、系鞋带这种精细技能。 灵活性方面也拉满,能及时根据环境变化改变计划,根本不怕人类捣乱。 还可以适应机械臂、人形机器人等不同身体形态。
3/13/2025 12:44:56 PM
量子位
DeepSeek玩家能提前拿苹果新品!只要15万元,在家跑满血版R1
号称地表最强的M3 Ultra,本地跑满血版DeepSeek R1,效果到底如何? 其实,有些DeepSeek玩家们已经提前拿到手做过实测了。 例如这位Alex老哥就是其中之一:他提前拿到了两台搭载M3 Ultra的Mac Studio,配置是这样的:M3 Ultra(32 核中央处理器、80 核图形处理器和 32 核神经网络引擎)512G统一内存1TB固态硬盘具体来说,Alex老哥用配备Thunderbolt 5互连技术(传输速率为 80Gbps)的EXO Labs设备,来运行完整的DeepSeek R1模型(671B、8-bit)。
3/13/2025 12:41:37 PM
量子位
只需7.6% token,性能还更强!华人团队提全新「草稿链」CoD,成本延迟大降
当下,企业正处于部署AI的关键节点。 随着AI系统在企业运营中的深度融合,计算成本与响应时间成为阻碍AI广泛应用的主要瓶颈。 来自Zoom的华人研究团队取得了一项突破性成果,他们开发的「草稿链」(Chain of Draft,CoD)技术,有望从根本上改变企业大规模部署AI的模式。
3/13/2025 10:40:00 AM
新智元
多模态训练后模型能力雪崩,上海AI Lab全面探索MLLM偏好对齐与模态融合
在实际应用过程中,闭源模型(GPT-4o)等在回复的全面性、完备性、美观性等方面展示出了不俗的表现。 与之相反的是,在General VQA任务上表现最好的开源模型(如InternVL2-78B)在面对开放式、需要知识储备的问题时,表现不尽人意:△InternVL2-78B和GPT-4o在回复的完备性和美观性上有较大差距上述现象引发了上海交大、上海AI Lab等联合团队的思考。 他们首先猜测:MLLM的回复质量下降可能是因为经过了多模态数据训练之后,LLM本身的能力退化。
3/13/2025 9:47:29 AM
量子位
多步推理碾压GPT-4o,无需训练性能提升10%!斯坦福开源通用框架OctoTools
大型语言模型(LLMs)目前仍然很难处理需要多步骤推理、特定领域知识或外部工具集成的复杂任务,有研究工作探索了使用预先构建的外部工具来增强LLMs处理复杂任务的能力,但这些方法需要对模型进行微调或额外训练以实现工具的集成,在不同任务之间难以灵活适应。 现有的方法要么依赖于静态的、预定义的工具集,要么缺乏高效的工具选择和规划机制,这种低效性会导致任务执行出错、计算成本增加,以及在应用于新领域时适应性受限。 传统增强LLMs的方法包括少量样本提示(few-shot prompting)、思维链(chain-of-thought reasoning)以及与外部工具接口的功能调用API;有的框架如LangChain和AutoGen允许LLMs够使用外部资源,但通常智能用于指定应用场景或需要大量的预配置,没有提供一种统一的多步骤规划和执行方法,因此在处理复杂推理问题时效果不佳。
3/12/2025 10:38:05 AM
新智元
快慢双系统!清华&博世最新Chameleon:无需训练即可解决复杂道路拓扑(ICRA'25)
在自动驾驶技术中,车道拓扑提取是实现无地图导航的核心任务之一。 它要求系统不仅能检测出车道和交通元素(如交通灯、标志),还要理解它们之间的复杂关系。 例如,判断车辆是否可以左转进入某条车道,就需要综合考虑交通规则、车道布局和信号灯状态等多种因素。
3/12/2025 10:07:06 AM
自动驾驶之心
揭示显式CoT训练机制:思维链如何增强推理泛化能力
基于逐步生成解决方案的大语言模型(LLMs)训练范式在人工智能领域获得了广泛关注,并已发展成为行业内的主流方法之一。 例如,OpenAI 在其「12 Days of OpenAI」直播系列的第二日推出了针对 O1 模型的强化微调(Reinforcement Fine-Tuning,RFT),进一步推动了 AI 定制化的发展[1]。 RFT/ReFT[2] 的一个关键组成部分是使用思维链(Chain-of-Thought,CoT)注释[3] 进行监督微调(Supervised Fine-Tuning,SFT)。
3/12/2025 9:48:19 AM
机器之心
18项任务200万视频编辑对,云天励飞联合多高校打造出大规模编辑数据集
目前的视频编辑算法主要分为两种:一种是利用 DDIM-Inversion 完成视频编辑,另一种是利用训练好的编辑模型。 然而,前者在视频的一致性和文本对齐方面存在较大缺陷;后者由于缺乏高质量的视频编辑对,难以获得理想的编辑模型。 为了解决视频编辑模型缺乏训练数据的问题,本文作者(来自香港中文大学、香港理工大学、清华大学等高校和云天励飞)提出了一个名为 Señorita-2M 的数据集。
3/12/2025 9:40:28 AM
机器之心
轻松拿捏高等数学,LLM平均得分90+!GPT-4o、Mistral几乎没错
朋友会离开你,兄弟会背叛你。 但数学不会,数学不会就是不会。 相信学不好高等数学的人,对上面这个梗深有感悟。
3/11/2025 1:42:19 PM
新智元
稚晖君机器人“葡萄缝针”神技再现江湖,这次是人形的!骑自行车惊呆众人:又抽象又硬核
刚刚! 鸽了两年之后,稚晖君罕见更新视频——上线号称史上最复杂项目灵犀X2,能够像人一样灵动地骑自行车。 评论区早已经是听取哇声一片。
3/11/2025 1:19:26 PM
量子位
使用DeepSeek的GRPO,7B模型只需强化学习就能拿下数独
没有任何冷启动数据,7B 参数模型能单纯通过强化学习学会玩数独吗? 近日,技术博主 Hrishbh Dalal 的实践表明,这个问题的答案是肯定的。 并且他在这个过程中用到了 DeepSeek 开发的 GRPO 算法,最终他「成功在一个小型数独数据集上实现了高奖励和解答」。
3/11/2025 1:07:58 PM
机器之心
已节省数百万GPU小时!字节再砍MoE训练成本,核心代码全开源
字节对MoE模型训练成本再砍一刀,成本可节省40%! 刚刚,豆包大模型团队在GitHub上开源了叫做COMET的MoE优化技术。 COMET已应用于字节的万卡训练集群,在真实的生产环境中,累计帮助节省了数百万GPU小时。
3/11/2025 9:20:00 AM
量子位
LeCun最新访谈对DeepSeek一顿猛夸,还谈了AI发展需理解物理世界
LeCun最新访谈,对DeepSeek一顿猛夸。 他表示,DeepSeek是一项很出色的成果,它的开源不只是成果创造者受益,全世界都能从中受益。 不过LeCun也指出,金融市场对DeepSeek出现的反应,说什么“哦,现在我们可以更便宜地训练系统了,所以我们不再需要那么多计算机”,这种说法是错误的。
3/11/2025 9:15:00 AM
量子位
精度效率双冠王!时序预测新范式TimeDistill:跨架构知识蒸馏,全面超越SOTA
如何在保证预测精度的同时降低计算成本,是时序预测应用面临的核心挑战。 传统的时序预测模型(如基于Transformer或CNN的复杂结构)虽在精度上表现卓越,但计算开销往往难以满足实际部署需求。 而轻量级MLP(多层感知器)虽然具备较高的推理速度,却常因建模能力不足,导致预测精度较低。
3/10/2025 9:22:00 AM
新智元
DeepSeek同款GRPO训练大提速!魔搭开源全流程方案,支持多模态训练、训练加速和评测全链路
GRPO训练又有新的工具链可以用,这次来自于ModelScope魔搭社区。 随着DeepSeek-R1的成功出圈,其使用的GRPO算法受到了业界的广泛关注。 GRPO训练是来自于PPO算法的一种改进,旨在利用采样原理对value model进行简化,以增大训练的稳定性和可维护性。
3/10/2025 9:10:00 AM
量子位
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
大模型
机器人
数据
AI新词
Midjourney
开源
Meta
微软
智能
用户
GPT
学习
技术
智能体
马斯克
Gemini
Anthropic
英伟达
图像
AI创作
训练
LLM
论文
代码
算法
苹果
AI for Science
Agent
Claude
芯片
腾讯
Stable Diffusion
蛋白质
开发者
xAI
具身智能
生成式
神经网络
机器学习
3D
AI视频
人形机器人
RAG
大语言模型
研究
百度
Sora
生成
GPU
工具
华为
计算
字节跳动
AGI
大型语言模型
AI设计
搜索
生成式AI
视频生成
DeepMind
特斯拉
场景
深度学习
AI模型
架构
亚马逊
Transformer
MCP
编程
视觉
预测