训练

预训练还没终结！港中文清华等提出「三位一体」框架，持续自我进化

当前（多模态）大模型正深陷「数据饥渴」困境：其性能高度依赖预训练阶段大量高质量（图文对齐）数据的支撑。然而，现实世界中这类高价值数据资源正在迅速耗尽，传统依赖真实数据驱动模型能力增长的路径已难以为继。在NeurIPS 2024会议上，OpenAI联合创始人Ilya Sutskever明确指出：「Pre-training as we know it will end」，这一判断是对传统预范式极限的清晰警示。

4/11/2025 9:35:34 AM

新智元

剪枝60%不损性能！上海AI Lab提出高斯剪枝新方法，入选CVPR 2025

三维高斯泼溅（3D Gaussian Splatting）使得实时高质量渲染成为可能，是当前3D视觉领域最常用的算法之一。问题在于，基于显示高斯单元的表示方式，尽管可以高效溅射和光栅化，其密集化和优化过程却往往会生成冗余的高斯点，导致单个重建场景可能包含数百万个高斯点。这不仅降低了训练和渲染速度（本可能更快），还导致显著的内存消耗。

4/10/2025 9:38:37 AM

量子位

用梯度下降求解整数规划，中科大等提出无监督训练整数规划求解器新范式 | ICLR 2025 Spotlight

无监督学习训练整数规划求解器的新范式来了。中国科学技术大学王杰教授团队（MIRA Lab）提出了一种全新的整数规划求解方法——DiffILO（Differentiable Integer Linear Programming Optimization），相关论文已被人工智能顶级国际会议ICLR 2025接收为Spotlight。结果显示：与现有主流的监督学习方法对比，DiffILO不仅显著加快训练速度，还能生成更高质量的可行解。

4/10/2025 9:15:03 AM

量子位

CLIP被淘汰了？LeCun谢赛宁新作，多模态训练无需语言监督更强！

最近AI圈最火的模型非GPT-4o莫属，各种风格图片持续火爆全网。如此强悍的图片生成能力，得益于GPT-4o本身是一个原生多模态模型。从最新发布的LLM来看，多模态已经成为绝对的主流。

4/8/2025 9:10:00 AM

新智元

Llama 4全网首测来袭，3台Mac狂飙2万亿！多模态惊艳代码却翻车

谁也没料到，大周末的，小扎竟然开源了Llama 4家族。一共三款模型，首次采用MoE架构，开启了原生多模态的Llama时代！ Llama 4 Scout，激活17B，16个专家，109B参数；Llama 4 Maverick，激活17B，128个专家，402B参数；Llama 4 Behemoth，激活288B，16个专家，2T参数。

4/7/2025 9:20:00 AM

新智元

让机器人在人群中穿梭自如，港科广&港科大突破社交导航盲区 | ICRA 2025

机器人落地复杂场景，社交导航能力一定是避不开的关键一点。先简单介绍下，社交导航 (SocialNav，Social navigation) 是指在人机共存的环境中，机器人在遵循社会规范的前提下执行导航任务。就拿下图来说，机器人需导航至目标点，而目标恰好位于两名行人未来轨迹的交汇区域。

4/2/2025 9:50:00 AM

量子位

中科大提出动作价值表征学习新方法，率先填补长期决策信息的缺失

在视觉强化学习中，许多方法未考虑序列决策过程，导致所学表征缺乏关键的长期信息的空缺被填补上了。来自中科大的研究人员在信息瓶颈（Information Bottleneck）框架下，提出了一种新颖的鲁棒动作价值表征学习方法ROUSER。作者从理论上证明了ROUSER能够使用学习到的鲁棒表征准确估计动作价值，从而避免了智能体在测试环境中的决策能力遭到削弱。

4/1/2025 9:32:00 AM

量子位

从0编写基因组！史上最大生物学模型Evo-2全面开源：硅基生命能创造细胞？

生命的一切表现，基本都可以从DNA编码中找到答案。基因组（Genome）包含了生物体所有基因以及非编码的DNA序列，承载了生物体发育、生长、繁殖和适应环境所需的全部遗传信息，近年来基因组相关的测序、合成和编辑工具已经彻底改变了生物学研究。然而，基因组的复杂性是巨大的，即使是最简单的微生物，也包含数百万个DNA碱基对，要智能地构建新的生物系统，研究人员还需要深入理解基因组编码的复杂信息。

3/31/2025 9:30:00 AM

新智元

Claude团队开盒Transformer：AI大脑原来这样工作

大模型工作机制的黑盒，终于被Claude团队揭开了神秘面纱！团队创造了一种解读大模型思考方式的新工具，就像给大模型做了个“脑部核磁”。他们还发现，Claude在某些任务上具备长远规划能力，甚至还会为了迎合人类而编造推理过程。

3/31/2025 8:12:00 AM

量子位

清华稀疏Attention，无需训练加速一切模型！

在当今各类大语言模型以及视频模型中，长序列场景越来越普遍，而 Attention 的计算复杂度随着序列长度呈平方增长，成为长序列任务下的主要计算瓶颈。此前，清华大学陈键飞团队提出的即插即用量化的 SageAttention 系列工作已实现 3 倍加速于 FlashAttention，且在各类大模型上均保持了端到端的精度，已被业界和社区广泛使用。为了进一步加速 Attention，清华大学陈键飞团队进一步提出了无需训练可直接使用的稀疏 Attention（SpargeAttn）可用来加速任意模型。

3/27/2025 9:47:23 AM

机器之心

人形机器人优雅漫步，强化学习新成果！独角兽Figure创始人：之前大家吐槽太猛

注意看，机器人像人一样从容地走出大门了！甚至，还有一整支机器人队伍迎面走来。人形机器人独角兽Figure，再次带来他们的新成果——利用强化学习实现自然人形行走。

3/27/2025 9:19:57 AM

量子位

新版DeepSeek-V3官方报告出炉：超越GPT-4.5，仅靠改进后训练

刚刚，DeepSeek官方发布DeepSeek-V3模型更新技术报告。 V3新版本在数学、代码类相关评测集成绩超过GPT-4.5！而且这只是通过改进后训练方法实现。

3/26/2025 9:16:05 AM

量子位

AMD跑DeepSeek性能超H200！128并发Token间延迟不超50ms，吞吐量达H200五倍

DeepSeek-R1掀起新一轮购卡潮的同时，AMD的含金量也上升了。在AMD的MI300X上跑FP8满血R1，性能全面超越了英伟达H200——相同延迟下吞吐量最高可达H200的5倍，相同并发下则比H200高出75%。这个结果，一方面归功于SGLang框架，另一方面则是得益于AMD新优化的AI内核库AITER。

3/25/2025 12:59:01 PM

量子位

棋盘变战场，大模型却呆了？普林斯顿、UT Austin新基准SPIN-Bench曝AI智商瓶颈

当棋盘变成战场，当盟友暗藏心机，当谈判需要三十六计，AI 的智商令人叹息！近日，来自普林斯顿和德州大学奥斯丁分校最新评测基准 SPIN-Bench，用一套 "组合拳" 暴击了大模型的软肋。研究显示，即便是 o1、o3-mini、DeepSeek R1、GPT-4o、Claude 3.5 等顶尖大模型，在涉及战略规划和社会推理的复杂任务中集体 "自闭"。

3/25/2025 9:50:23 AM

机器之心

AI自我纠错，Diffusion超越自回归！质量提升55%，已达理论证据下界

如果大语言模型（LLMs）能够发现并纠正自己的错误，那岂不是很好？而且，如果能够直接从预训练中实现这一点，而无需任何监督微调（SFT）或强化学习（RL），那会怎样呢？最新提出的离散扩散模型，称为GIDD，它能够做到这一点。

3/24/2025 9:35:00 AM

新智元

AI预判了你的预判！人大高瓴团队发布TTR，教会AI一眼看穿你的下一步

本文作者均来自中国人民大学高瓴人工智能学院。其中，第一作者谭文辉是人大高瓴博士生（导师：宋睿华长聘副教授），他的研究兴趣主要在多模态与具身智能。本文通讯作者为宋睿华长聘副教授，她的团队 AIMind 主要研究方向为多模态感知、生成与交互。

3/20/2025 10:03:44 AM

机器之心

无需百卡集群！港科等开源LightGen: 极低成本文生图方案媲美SOTA模型

LightGen 主要作者来自香港科技大学和 Everlyn AI, 第一作者为香港科技大学准博士生吴显峰，主要研究方向为生成式人工智能和 AI4Science。通讯作者为香港科技大学助理教授 Harry Yang 和中佛罗里达副教授 Sernam Lim。共同一作有香港科技大学访问学生白亚靖，香港科技大学博士生郑皓泽，Everlyn AI 实习生陈浩东，香港科技大学博士生刘业鑫。

3/19/2025 10:41:11 AM

机器之心

首次，6人7天真人秀！南洋理工等发布第一视角AI生活管家数据EgoLife

当AI智能体（如Manus）接管你的大部分工作后，你是否曾想过，如何让自己的生活变得更加轻松与智能？试想一个未来场景：你佩戴着智能眼镜，一个AI助理能无缝融入你的日常生活，根据你的个人习惯提供贴心的美食建议，下班后提醒你曾经购买过的物品，甚至通过分析你和家人过去的活动来主动预测你的需求。这样一款「生活助手」将极大提升个人效率和家庭协作，让AI真正成为我们生活中的得力管家。

3/19/2025 9:43:43 AM

新智元

资讯热榜

Mac也能跑Qwen3，一文看懂本地部署qwen 3配置要求 Ollama 支持全线的 Qwen 3 模型 Qwen3正式发布，优化编码与代理能力，强化MCP支持引领AI新潮流即梦3.0海外版发布，电影级视觉与精准英文排版引领AI创作新高度纳米AI发布MCP万能工具箱，简化AI工具集成与调用 AI视频资讯早读！7个产品更新+8个案例精选小米开源“Xiaomi MiMo”大模型：为推理而生，以 7B 参数超越 OpenAI o1-mini 小米首个推理大模型Xiaomi MiMo开源

标签云

人工智能 OpenAI AIGC AI ChatGPT AI绘画 DeepSeek 数据模型机器人谷歌大模型 Midjourney 智能用户开源学习 GPT 微软 Meta 图像 AI创作技术论文 Stable Diffusion 马斯克 Gemini 算法蛋白质芯片代码生成式英伟达腾讯神经网络研究计算 Anthropic 3D Sora AI for Science AI设计机器学习开发者 GPU AI视频华为场景人形机器人预测百度苹果伟达 Transformer 深度学习 xAI 模态字节跳动 Claude 大语言模型搜索驾驶具身智能神器推荐文本 Copilot LLaMA 算力安全视觉视频生成训练干货合集应用大型语言模型科技亚马逊智能体 DeepMind 特斯拉