训练
5%参数比肩DeepSeek满血R1！北大“小”模型靠分合蒸馏，打破推理成本下限
只用5%的参数，数学和代码能力竟然超越满血DeepSeek？ 北京大学杨仝教授团队近期发布了其在高效大型语言模型研究方向的一项新成果——FairyR1-32B模型。 该模型基于DeepSeek-R1-Distill-Qwen-32B基座，通过结合微调与模型合并技术构建。
5/27/2025 3:40:34 PM
扩散语言模型九倍推理加速！上海交大：KV Cache并非自回归模型的专属技巧
首个用于加速扩散式大语言模型（diffusion-based Large Language Models, 简称 dLLMs）推理过程的免训练方法。 上海交通大学EPIC Lab团队提出了一种无需训练、即插即用的高效推理缓存机制：dLLM-Cache。 其核心思想在于，在一个多步去噪过程中，复用相邻时间步上变化较小的特征，仅更新那些变化较大的特征，从而实现了计算量的大幅降低，并保持了原有的生成质量。
5/27/2025 3:28:11 PM
让视觉语言模型像o3一样动手搜索、写代码！Visual ARFT实现多模态智能体能力
在大型推理模型（例如 OpenAI-o3）中，一个关键的发展趋势是让模型具备原生的智能体能力。 具体来说，就是让模型能够调用外部工具（如网页浏览器）进行搜索，或编写/执行代码以操控图像，从而实现「图像中的思考」。 尽管开源研究社区在纯文本的智能体能力方面（比如函数调用和工具集成）已取得显著进展，但涉及图像理解与操作的多模态智能体能力及其对应的评估体系仍处于起步阶段。
5/27/2025 3:23:05 PM
刚刚，北大校友Lilian Weng自曝公司首个产品？一篇论文未发，估值却已90亿
OpenAI前研究员大佬、如今的Thinking Machines Lab联创Lilian Weng，刚刚转发了一个神秘产品——一个看似仪表盘的东西。 或许，这就将是公司即将打造的第一个爆品？ 这个产品所揭示的理念，可谓十分惊人——在训练过程中，研究人员可以直接用它来手动调整所有的超参数了！
5/27/2025 8:40:00 AM
矩阵乘法新突破！XX^T原来可以更快！RL助力搜索，世界纪录又被提升了5%
深圳市大数据研究院、香港中文大学（深圳）研究团队最新研究发现， 这类特殊的矩阵乘法可以进一步加速，并在强化学习与组合优化技术的结合下发掘出了一种新的算法，节省 5% 的乘法数量。 论文标题：XXt Can Be Faster论文链接： X 引发热烈讨论，并引起 MIT、斯坦福、哈佛及 Google DeepMind 科学家的广泛关注。 背景矩阵乘法优化堪称计算机科学领域的「珠穆朗玛峰」。
5/26/2025 8:41:00 AM
瘦身不降智！大模型训推效率提升30%，京东大模型开发计算研究登Nature旗下期刊
京东探索研究院关于大模型的最新研究，登上了Nature旗下期刊！ 该项研究提出了一种在开放环境场景中训练、更新大模型，并与小模型协同部署的系统与方法。 它通过模型蒸馏、数据治理、训练优化与云边协同四大创新，这个项目将大模型推理效率平均提升30%，训练成本降低70%。
5/21/2025 1:54:20 PM
字节跳动开源多模态模型 BAGEL：图文生成与编辑的新突破
字节跳动 发布了一款名为 BAGEL 的开源多模态基础模型，拥有70亿个活跃参数，整体参数量达到140亿。 BAGEL 在标准多模态理解基准测试中表现出色，超越了当前一些顶级开源视觉语言模型，如 Qwen2.5-VL 和 InternVL-2.5。 此外，在文本到图像的生成质量上，BAGEL 的表现也与强大的专业生成器 SD3相媲美。
5/21/2025 12:01:15 PM
AI在线
DeepSeek发布大模型训练端到端论文，展示卓越工程深度
近日，DeepSeek发布了一篇关于大模型训练的最佳端到端技术论文，引发业界广泛关注。 该论文全面阐述了DeepSeek在大模型研发中的技术突破，涵盖软件、硬件及混合优化方案，展现了其令人惊叹的工程深度。 在**软件**层面，论文详细介绍了多头潜在注意力机制（MLA），显著降低推理过程中的内存占用;FP8混合精度训练通过低精度计算提升效率，同时保证数值稳定性;DeepEP通信库优化了专家并行(EP)通信，支持FP8低精度操作，加速MoE模型训练与推理;LogFMT对数浮点格式则通过均匀化激活分布，进一步优化计算效率。
5/21/2025 11:01:05 AM
AI在线
参数量暴降，精度反升！哈工大宾大联手打造点云分析新SOTA
新架构选择用KAN做3D感知，点云分析有了新SOTA！ 来自哈尔滨工业大学（深圳）和宾夕法尼亚大学的联合团队最近推出了一种基于Kolmogorov-Arnold Networks(KANs)的3D感知解决方案——PointKAN，在处理点云数据的下游任务上展现出巨大的潜力。 △PointKAN与同类产品的比较替代传统的MLP方案，PointKAN具有更强的学习复杂几何特征的能力。
5/19/2025 2:56:45 PM
三金，又是中国队！全球机器人视触融合挑战赛揭榜
今天，机器人和自动化领域的全球顶级会议ICRA 2025在亚特兰大正式拉开帷幕。 不久前，机器人领域的顶级赛事——ManiSkill-ViTac 2025也公布了获奖团队名单。 5月23日，ManiSkill-ViTac 2025的成果将在ICRA 2025第六届ViTac国际研讨会中集中汇报。
5/19/2025 2:55:41 PM
阿里通义实验室推出 ZeroSearch：让大模型无需 API 自我 “搜索”
在人工智能的迅速发展中，如何提升大语言模型（LLM）的检索和推理能力成为研究的热门话题。 近日，阿里通义实验室提出了一个名为 “ZeroSearch” 的新框架，它能够使大型语言模型自己模拟搜索引擎，从而在没有实际搜索引擎的情况下，提升其推理能力。 传统的搜索引擎虽然强大，但在训练大模型时，它们的输出质量常常不可预测，可能导致训练过程中的噪声和不稳定。
5/19/2025 11:01:05 AM
AI在线
字节发布 Seed1.5-VL 视觉-语言多模态大模型，20B 参数狂揽 60 项公开评测基准中 38 项 SOTA！
5 月 13 日，火山引擎在上海搞了场 FORCE LINK AI 创新巡展，一股脑发布了 5 款模型和产品，包括豆包・视频生成模型 Seedance 1.0 lite、升级后的豆包 1.5・视觉深度思考模型，以及新版豆包・音乐模型。 同时，Data Agent 和 Trae 等产品也有了新进展。 今天给大家介绍的是Seed 1.5-VL，相比于之前版本，Seed1.5-VL 具备更强的通用多模态理解和推理能力，不仅视觉定位和推理更快更准，还新增了视频理解、多模态智能体能力。
5/19/2025 9:07:00 AM
Nous Research推出Psyche去中心化网络，开启全民参与AI开发新纪元
Nous Research宣布正式推出Psyche，一个基于Solana区块链的去中心化AI训练网络，旨在让全球用户通过闲置计算资源参与尖端AI模型的开发。 这一平台利用DisTrO技术大幅降低带宽需求，成功启动了有史以来规模最大的互联网分布式训练，目标是训练一个40亿参数的AI模型，并将所有数据和检查点完全开源。 AIbase深入剖析Psyche的核心技术与愿景，揭示其对AI民主化的深远影响。
5/16/2025 12:00:55 PM
AI在线
个人开发者训400亿参数大模型：分布式算力，DeepSeek架构，3090单卡部署
打破科技巨头算力垄断，个人开发者联手也能训练超大规模AI模型？ Nous Research宣布推出Psyche Network，可以将全球算力整合起来训练强大的人工智能。 Psyche是一个基于Deepseek的V3 MLA架构的去中心化训练网络，测试网首次启动时直接对40B参数LLM进行预训练，可以在单个H/DGX上训练，并在3090 GPU上运行。
5/16/2025 9:06:00 AM
梁文锋署名DeepSeek新论文：公开V3大模型降本方法
梁文锋亲自参与的DeepSeek最新论文，来了！ 这一次，团队把DeepSeek-V3在训练和推理过程中，如何解决“硬件瓶颈”的方法公布了出来。 具体而言，DeepSeek-V3之所以可以只用2048块H800，就能达到超大规模集群（如数万块GPU）相当的训练效果，核心在于四项创新技术：内存优化多头潜在注意力（MLA）计算优化混合专家模型（MoE）与FP8低精度训练通信优化多层网络拓扑与低延迟设计推理加速多token预测（MTP）那么这四项优化具体又是如何起到作用的，我们继续往下看。
5/16/2025 9:02:00 AM
Soundcloud 新规:用户可选择退出 AI 模型训练，但数据使用疑云仍在
音乐平台 Soundcloud 近日更新了其使用条款，明确规定“未经您的明确同意，我们不会使用您的内容来训练旨在复制或合成您的声音、音乐或肖像的生成式 AI 模型，而您的同意必须通过选择加入机制明确提供。 ” 这项于2025年5月11日由 Soundcloud 传播主管 Marni Greenberg 向 The Verge 证实的新政策，似乎旨在回应用户对其上传内容被用于人工智能（AI）训练的担忧，并承诺未来若内容被用于生成式 AI，将提供明确的退出选项和透明度。 此前，Soundcloud 在2024年2月更改了其使用条款，允许将上传的音乐用于 AI 训练，但并未明确告知用户。
5/16/2025 9:00:30 AM
AI在线
全新预训练数据筛选方案，让数据效率提升10倍！配置仅需fastText评分器｜港科大vivo出品
vivo自研大模型用的数据筛选方法，公开了。 香港科技大学和vivo AI Lab联名提出PreSelect，目前已被ICML 2025接收。 这是一种轻量级且高效的数据选择方法：只需要训练和部署一个基于fastText的评分器，就可以减少10倍的计算需求。
5/15/2025 1:40:13 PM
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
机器人
数据
大模型
Midjourney
开源
智能
用户
Meta
微软
GPT
学习
技术
图像
Gemini
马斯克
AI创作
智能体
英伟达
Anthropic
论文
代码
AI新词
训练
算法
Stable Diffusion
芯片
LLM
蛋白质
开发者
腾讯
Claude
苹果
生成式
AI for Science
Agent
神经网络
3D
机器学习
研究
xAI
生成
人形机器人
AI视频
计算
百度
Sora
GPU
AI设计
华为
工具
大语言模型
RAG
搜索
具身智能
字节跳动
大型语言模型
场景
深度学习
预测
视频生成
伟达
视觉
Transformer
AGI
架构
亚马逊
神器推荐
Copilot
DeepMind
特斯拉
应用