AI在线 AI在线

训练

瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊

瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊
京东探索研究院关于大模型的最新研究，登上了Nature旗下期刊！ 该项研究提出了一种在开放环境场景中训练、更新大模型，并与小模型协同部署的系统与方法。 它通过模型蒸馏、数据治理、训练优化与云边协同四大创新，这个项目将大模型推理效率平均提升30%，训练成本降低70%。
5/21/2025 1:54:20 PM
​字节跳动开源多模态模型 BAGEL：图文生成与编辑的新突破

​字节跳动开源多模态模型 BAGEL：图文生成与编辑的新突破
字节跳动 发布了一款名为 BAGEL 的开源多模态基础模型，拥有70亿个活跃参数，整体参数量达到140亿。 BAGEL 在标准多模态理解基准测试中表现出色，超越了当前一些顶级开源视觉语言模型，如 Qwen2.5-VL 和 InternVL-2.5。 此外，在文本到图像的生成质量上，BAGEL 的表现也与强大的专业生成器 SD3相媲美。
5/21/2025 12:01:15 PM
AI在线
DeepSeek发布大模型训练端到端论文，展示卓越工程深度

DeepSeek发布大模型训练端到端论文，展示卓越工程深度
近日，DeepSeek发布了一篇关于大模型训练的最佳端到端技术论文，引发业界广泛关注。 该论文全面阐述了DeepSeek在大模型研发中的技术突破，涵盖软件、硬件及混合优化方案，展现了其令人惊叹的工程深度。 在**软件**层面，论文详细介绍了多头潜在注意力机制（MLA），显著降低推理过程中的内存占用;FP8混合精度训练通过低精度计算提升效率，同时保证数值稳定性;DeepEP通信库优化了专家并行(EP)通信，支持FP8低精度操作，加速MoE模型训练与推理;LogFMT对数浮点格式则通过均匀化激活分布，进一步优化计算效率。
5/21/2025 11:01:05 AM
AI在线
参数量暴降，精度反升！哈工大宾大联手打造点云分析新SOTA

参数量暴降，精度反升！哈工大宾大联手打造点云分析新SOTA
新架构选择用KAN做3D感知，点云分析有了新SOTA！ 来自哈尔滨工业大学（深圳）和宾夕法尼亚大学的联合团队最近推出了一种基于Kolmogorov-Arnold Networks(KANs)的3D感知解决方案——PointKAN，在处理点云数据的下游任务上展现出巨大的潜力。 △PointKAN与同类产品的比较替代传统的MLP方案，PointKAN具有更强的学习复杂几何特征的能力。
5/19/2025 2:56:45 PM
三金，又是中国队！全球机器人视触融合挑战赛揭榜

三金，又是中国队！全球机器人视触融合挑战赛揭榜
今天，机器人和自动化领域的全球顶级会议ICRA 2025在亚特兰大正式拉开帷幕。 不久前，机器人领域的顶级赛事——ManiSkill-ViTac 2025也公布了获奖团队名单。 5月23日，ManiSkill-ViTac 2025的成果将在ICRA 2025第六届ViTac国际研讨会中集中汇报。
5/19/2025 2:55:41 PM
阿里通义实验室推出 ZeroSearch：让大模型无需 API 自我 “搜索”

阿里通义实验室推出 ZeroSearch：让大模型无需 API 自我 “搜索”
在人工智能的迅速发展中，如何提升大语言模型（LLM）的检索和推理能力成为研究的热门话题。 近日，阿里通义实验室提出了一个名为 “ZeroSearch” 的新框架，它能够使大型语言模型自己模拟搜索引擎，从而在没有实际搜索引擎的情况下，提升其推理能力。 传统的搜索引擎虽然强大，但在训练大模型时，它们的输出质量常常不可预测，可能导致训练过程中的噪声和不稳定。
5/19/2025 11:01:05 AM
AI在线
字节发布 Seed1.5-VL 视觉-语言多模态大模型，20B 参数狂揽 60 项公开评测基准中 38 项 SOTA！

字节发布 Seed1.5-VL 视觉-语言多模态大模型，20B 参数狂揽 60 项公开评测基准中 38 项 SOTA！
5 月 13 日，火山引擎在上海搞了场 FORCE LINK AI 创新巡展，一股脑发布了 5 款模型和产品，包括豆包・视频生成模型 Seedance 1.0 lite、升级后的豆包 1.5・视觉深度思考模型，以及新版豆包・音乐模型。 同时，Data Agent 和 Trae 等产品也有了新进展。 今天给大家介绍的是Seed 1.5-VL，相比于之前版本，Seed1.5-VL 具备更强的通用多模态理解和推理能力，不仅视觉定位和推理更快更准，还新增了视频理解、多模态智能体能力。
5/19/2025 9:07:00 AM
Nous Research推出Psyche去中心化网络，开启全民参与AI开发新纪元

Nous Research推出Psyche去中心化网络，开启全民参与AI开发新纪元
Nous Research宣布正式推出Psyche，一个基于Solana区块链的去中心化AI训练网络，旨在让全球用户通过闲置计算资源参与尖端AI模型的开发。 这一平台利用DisTrO技术大幅降低带宽需求，成功启动了有史以来规模最大的互联网分布式训练，目标是训练一个40亿参数的AI模型，并将所有数据和检查点完全开源。 AIbase深入剖析Psyche的核心技术与愿景，揭示其对AI民主化的深远影响。
5/16/2025 12:00:55 PM
AI在线
个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署

个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署
打破科技巨头算力垄断，个人开发者联手也能训练超大规模AI模型？ Nous Research宣布推出Psyche Network，可以将全球算力整合起来训练强大的人工智能。 Psyche是一个基于Deepseek的V3 MLA架构的去中心化训练网络，测试网首次启动时直接对40B参数LLM进行预训练，可以在单个H/DGX上训练，并在3090 GPU上运行。
5/16/2025 9:06:00 AM
梁文锋署名DeepSeek新论文：公开V3大模型降本方法

梁文锋署名DeepSeek新论文：公开V3大模型降本方法
梁文锋亲自参与的DeepSeek最新论文，来了！ 这一次，团队把DeepSeek-V3在训练和推理过程中，如何解决“硬件瓶颈”的方法公布了出来。 具体而言，DeepSeek-V3之所以可以只用2048块H800，就能达到超大规模集群（如数万块GPU）相当的训练效果，核心在于四项创新技术：内存优化多头潜在注意力（MLA）计算优化混合专家模型（MoE）与FP8低精度训练通信优化多层网络拓扑与低延迟设计推理加速多token预测（MTP）那么这四项优化具体又是如何起到作用的，我们继续往下看。
5/16/2025 9:02:00 AM
Soundcloud 新规:用户可选择退出 AI 模型训练，但数据使用疑云仍在

Soundcloud 新规:用户可选择退出 AI 模型训练，但数据使用疑云仍在
音乐平台 Soundcloud 近日更新了其使用条款，明确规定“未经您的明确同意，我们不会使用您的内容来训练旨在复制或合成您的声音、音乐或肖像的生成式 AI 模型，而您的同意必须通过选择加入机制明确提供。 ” 这项于2025年5月11日由 Soundcloud 传播主管 Marni Greenberg 向 The Verge 证实的新政策，似乎旨在回应用户对其上传内容被用于人工智能（AI）训练的担忧，并承诺未来若内容被用于生成式 AI，将提供明确的退出选项和透明度。 此前，Soundcloud 在2024年2月更改了其使用条款，允许将上传的音乐用于 AI 训练，但并未明确告知用户。
5/16/2025 9:00:30 AM
AI在线
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品

全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
vivo自研大模型用的数据筛选方法，公开了。 香港科技大学和vivo AI Lab联名提出PreSelect，目前已被ICML 2025接收。 这是一种轻量级且高效的数据选择方法：只需要训练和部署一个基于fastText的评分器，就可以减少10倍的计算需求。
5/15/2025 1:40:13 PM
字节最强多模态模型登陆火山引擎！Seed1.5-VL靠20B激活参数狂揽38项SOTA

字节最强多模态模型登陆火山引擎！Seed1.5-VL靠20B激活参数狂揽38项SOTA
5 月 13 日，火山引擎在上海搞了场 FORCE LINK AI 创新巡展，一股脑发布了 5 款模型和产品，包括豆包・视频生成模型 Seedance 1.0 lite、升级后的豆包 1.5・视觉深度思考模型，以及新版豆包・音乐模型。 同时，Data Agent 和 Trae 等产品也有了新进展。 其中，全场最吸睛的就是豆包 1.5・视觉深度思考模型（以下称 Seed 1.5-VL）。
5/14/2025 3:05:21 PM
首个，专攻点云上下文学习自适应采样！支持点级、提示级｜CVPR 2025

首个，专攻点云上下文学习自适应采样！支持点级、提示级｜CVPR 2025
3D点云处理（PCP）涉及多种任务，如分割、去噪、配准、重建等，传统方法通常是为每个任务设计专用模型，导致过程繁杂、成本高昂。 虽然多任务学习（MTL）能缓解模型数量问题，但在任务冲突、参数调优方面仍存在挑战。 近年来兴起的In-Context Learning（ICL，上下文学习）技术，是指大型语言模型在不进行显式参数更新的情况下，仅通过输入中的示例（即上下文信息）来完成新的任务。
5/14/2025 3:03:45 PM
Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型

Qwen3家族训练秘籍公开：思考/非思考融进一个模型，大模型蒸馏带动小模型
Qwen3技术报告新鲜出炉，8款模型背后的关键技术被揭晓！ 采用了双模式架构，一个模型同时支持推理和非推理任务，根据需要自动切换。 训练和微调过程采取分段式策略，逐步构建模型能力。
5/14/2025 1:22:08 PM
量子位
首个多模态统一CoT奖励模型来了，模型、数据集、训练脚本全开源

首个多模态统一CoT奖励模型来了，模型、数据集、训练脚本全开源
在多模态大模型快速发展的当下，如何精准评估其生成内容的质量，正成为多模态大模型与人类偏好对齐的核心挑战。 然而，当前主流多模态奖励模型往往只能直接给出评分决策，或仅具备浅层推理能力，缺乏对复杂奖励任务的深入理解与解释能力，在高复杂度场景中常出现 “失真失准”。 那么，奖励模型是否也能具备像人类一样的深度思考能力？
5/14/2025 8:51:00 AM
突破大模型推理瓶颈！首篇「Test-Time Scaling」全景综述，深入剖析AI深思之道

突破大模型推理瓶颈！首篇「Test-Time Scaling」全景综述，深入剖析AI深思之道
本文由来自香港城市大学、麦吉尔大学（McGill）、蒙特利尔人工智能实验室（MILA）、人大高瓴人工智能学院、Salesforce AI Research、斯坦福大学、UCSB、香港中文大学等机构的多位研究者共同完成。 第一作者为来自香港城市大学的博士生张启源和来自蒙特利尔人工智能实验室（MILA）的博士生吕福源。 当训练成本飙升、数据枯竭，如何继续激发大模型潜能？
5/13/2025 3:13:28 PM
机器之心
全球闲置算力训个模型，性能媲美R1，老黄天塌了！Karpathy曾投资它

全球闲置算力训个模型，性能媲美R1，老黄天塌了！Karpathy曾投资它
一夜之间，老黄天塌了（doge）。 全球首个分布式RL训练模型INTELLECT-2发布，它仅通过整合全球闲置或分散的计算资源，就完成了模型的强化学习训练，训练成本大大降低。 其模型性能与DeepSeek-R1媲美！
5/13/2025 1:51:20 PM