训练

字节Seed团队PHD-Transformer突破预训练长度扩展！破解KV缓存膨胀难题

最近，DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展（length scaling），通过强化学习（比如 PPO、GPRO）训练模型生成很长的推理链（CoT），并在奥数等高难度推理任务上取得了显著的效果提升。受此启发，研究人员开始探索预训练阶段的长度扩展，已有方法包括在序列中插入文本、插入潜在向量（如 Coconut）、复用中间层隐藏状态（如 CoTFormer）以及将中间隐藏状态映射为概念（如 COCOMix）。不过，这些方法普遍存在问题，比如需要更大的 KV 缓存导致推理慢 / 占内存多。

4/29/2025 9:10:00 AM

机器之心

不用等R2了！第三方给新版DeepSeek V3添加深度思考，推理101秒破解7米甘蔗过2米门

DeepSeek即将发布R2？？坊间传闻越来越多了，且难辨真假。

4/29/2025 9:03:00 AM

量子位

RAG性能暴增20%！清华等推出“以笔记为中心”的深度检索增强生成框架，复杂问答效果飙升

在当前大语言模型（LLMs）广泛应用于问答、对话等任务的背景下，如何更有效地结合外部知识、提升模型对复杂问题的理解与解答能力，成为 RAG（Retrieval-Augmented Generation）方向的核心挑战。来自清华大学、中国科学院大学、华南理工大学、东北大学、九星（AI9Stars）的联合研究团队提出了一项全新的适应式RAG方法——DeepNote。它首次引入“笔记（Note）”作为知识载体，实现更深入、更稳定的知识探索与整合，在所有任务上均优于主流RAG方法，相较于基础RAG性能提升高达 20.1%。

4/29/2025 8:54:53 AM

强化学习被高估！清华上交：RL不能提升推理能力，新知识得靠蒸馏

最近，以推理能力为核心的大语言模型已然成为了主流，比如OpenAI o系列模型、DeepSeek-R1等等。推理模型在处理数学和编程等复杂逻辑问题方面取得了显著突破。相比于之前依赖人工标注进行指令微调的方法，这一突破的关键在于可验证奖励强化学习（RLVR）。

4/27/2025 9:23:00 AM

新智元

Anthropic CEO豪言LLM黑箱5年内必破！研究员爆料：AI有意识概率已达15%

未来，AI会拥有意识，并像人类一样体验世界吗？现在没有实锤证明AI具有意识，但Anthropic认为这事说不定真有可能。周四，Anthropic宣布启动这项研究，旨在了解AI的「幸福感」到底算不算数，是否需要认真对待。

4/27/2025 9:21:00 AM

新智元

TTS和TTT已过时？TTRL横空出世，推理模型摆脱「标注数据」依赖，性能暴涨

在大语言模型（LLMs）竞争日趋白热化的今天，「推理能力」已成为评判模型优劣的关键指标。 OpenAI 的 o 系列、Anthropic 的 Claude 和 DeepSeek-R1 等模型的惊艳表现背后，测试时缩放（TTS）技术功不可没。测试时缩放（TTS，Test-Time Scaling）是一种提升大语言模型推理能力的新兴策略，通过在测试阶段优化推理过程（如多数投票、蒙特卡洛树搜索等）提升大型语言模型（LLMs）的性能，而无需修改模型参数。

4/25/2025 9:12:00 AM

机器之心

ICLR 2025 Oral | 训练LLM，不只是多喂数据，PDS框架给出最优控制理论选择

本文第一作者顾煜贤（）为清华大学计算机系四年级直博生，师从黄民烈教授，研究方向为语言模型的高效训练与推理方法。他曾在 ACL，EMNLP，ICLR 等会议和期刊上发表近 20 篇论文，多次进行口头报告，Google Scholar 引用数 2600 ，曾获 2025 年苹果学者奖学金。本篇论文为他在微软亚洲研究院实习期间所完成。

4/24/2025 9:25:00 AM

机器之心

生成式AI进入第二幕：交大携手创智学院提出「认知工程」，AI新纪元开始了

第二幕将催生一种全新的专业：认知工程师 (Cognitive Engineers)— 专注于将人类或 AI 在各领域的深度认知提炼、结构化并转化为 AI 可学习的形式。无论你是技术创造者还是使用者，理解这场认知革命都至关重要。我们正在从「AI as tools」向「AI as thinking partners」转变，这不仅改变了技术的能力边界，也改变了我们与技术协作的方式。

4/23/2025 9:23:15 AM

机器之心

纯自回归图像生成模型开源来了，复旦联手字节seed共同捍卫自回归

基于Transformer的自回归架构在语言建模上取得了显著成功，但在图像生成领域，扩散模型凭借强大的生成质量和可控性占据了主导地位。虽然一些早期工作如Parti、LlamaGen，尝试用更强的视觉tokenizer和Transformer架构来提升自回归生成的效果，但他们论文中的结果表明，只有更多的参数量才能让自回归模型勉强和扩散模型“掰掰手腕”。这也让越来越多的研究者质疑自回归视觉生成是否是一条可行、值得探索的路径。

4/21/2025 8:20:00 AM

量子位

OpenAI深夜发布满血o3和o4mini: 两个没想到

OpenAI刚刚宣布推出其最新的o系列模型：o3和o4-mini，与以往模型不同，o3和o4-mini被设计为真正的AI系统，模型甚至能连续调用超过600次工具来完成一项艰巨任务，它们在理解和导航大型代码库（比如OpenAI自己的代码库）方面，超越了人类工程师，极大地提高了开发效率这次发布会我有两个没想到：一是没想到o系列模型变成了一个融合的模型，另外一个是引入图像推理“Thinking with Images”，下面第一时间给大家划个重点全面工具访问与推理能力o3和o4-mini最显著的特点是首次实现了对ChatGPT内所有工具的智能使用和组合能力。它们可以搜索网络、分析上传的文件、处理视觉输入、生成图像，并且能够智能地判断何时以及如何使用这些工具来解决复杂问题。这些模型经过专门训练，能够在大约一分钟内提供详细且经过深思熟虑的答案，以适当的输出格式解决多方面的问题o3,o4mini性能OpenAI o3是目前最强大的推理模型，在编程、数学、科学、视觉感知等领域推动了技术边界。

4/17/2025 8:59:59 AM

AI寒武纪

海豚语言被谷歌大模型破译！跨物种交流大门打开，哈萨比斯：下一个是狗

神奇！人类和海豚真的能实现跨物种交流了？！

4/15/2025 9:53:52 AM

量子位

一套算法控制机器人军团！纯模拟环境强化学习，Figure学会像人一样走路

现在训练机器人，都不需要真实数据了？刚刚，Figure提出了一种全新的基于RL的端到端网络。只需要在纯模拟环境中进行训练，用几个小时生成模拟数据，就能让Figure 02像人类一样自然行走了！

4/15/2025 9:15:00 AM

新智元

谢赛宁等新作上线，多模态理解生成大一统！思路竟与GPT-4o相似？

在不久之前机器之心报道文章《3D领域DeepSeek「源神」启动！国产明星创业公司，一口气开源八大项目》中，我们曾介绍到，国内专注于构建通用 3D 大模型的创业公司 VAST 将持续开源一系列 3D 生成项目。近日，新的开源项目它来了，包括针对任意三维模型生成完整可编辑部件的 HoloPart 与通用自动绑定框架 UniRig。

4/14/2025 9:38:00 AM

新智元

宇树机器人上演好莱坞《铁甲钢拳》！网友激动表示：比CG还CG

好莱坞科幻大片《铁甲钢拳》就这样被宇树机器人实现了？官方划重点：全程完全实拍，无任何加速。和一名成年男子对打，出拳那叫一个稳准狠：被一脚踢倒后，一个手撑地就立马自己起来了：除了和人类对战，两个机器人也能打得热火朝天：与此同时，宇树科技还剧透最近一个月左右，将开启机器人格斗直播。

4/11/2025 12:55:52 PM

量子位

预训练还没终结！港中文清华等提出「三位一体」框架，持续自我进化

当前（多模态）大模型正深陷「数据饥渴」困境：其性能高度依赖预训练阶段大量高质量（图文对齐）数据的支撑。然而，现实世界中这类高价值数据资源正在迅速耗尽，传统依赖真实数据驱动模型能力增长的路径已难以为继。在NeurIPS 2024会议上，OpenAI联合创始人Ilya Sutskever明确指出：「Pre-training as we know it will end」，这一判断是对传统预范式极限的清晰警示。

4/11/2025 9:35:34 AM

新智元

剪枝60%不损性能！上海AI Lab提出高斯剪枝新方法，入选CVPR 2025

三维高斯泼溅（3D Gaussian Splatting）使得实时高质量渲染成为可能，是当前3D视觉领域最常用的算法之一。问题在于，基于显示高斯单元的表示方式，尽管可以高效溅射和光栅化，其密集化和优化过程却往往会生成冗余的高斯点，导致单个重建场景可能包含数百万个高斯点。这不仅降低了训练和渲染速度（本可能更快），还导致显著的内存消耗。

4/10/2025 9:38:37 AM

量子位

用梯度下降求解整数规划，中科大等提出无监督训练整数规划求解器新范式 | ICLR 2025 Spotlight

无监督学习训练整数规划求解器的新范式来了。中国科学技术大学王杰教授团队（MIRA Lab）提出了一种全新的整数规划求解方法——DiffILO（Differentiable Integer Linear Programming Optimization），相关论文已被人工智能顶级国际会议ICLR 2025接收为Spotlight。结果显示：与现有主流的监督学习方法对比，DiffILO不仅显著加快训练速度，还能生成更高质量的可行解。

4/10/2025 9:15:03 AM

量子位

CLIP被淘汰了？LeCun谢赛宁新作，多模态训练无需语言监督更强！

最近AI圈最火的模型非GPT-4o莫属，各种风格图片持续火爆全网。如此强悍的图片生成能力，得益于GPT-4o本身是一个原生多模态模型。从最新发布的LLM来看，多模态已经成为绝对的主流。

4/8/2025 9:10:00 AM

新智元

资讯热榜

智谱AI全新企业级超级助手Agent CoCo正式上线苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化 DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注那个男人回来了！Ilya现身多伦多大学毕业典礼：AI 像是用数字方式复制出来的大脑！不管你愿不愿意，AI都将深刻影响你的一生！ ChatGPT 语音功能升级，实时翻译对话更自然流畅支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟苹果向开发者开放本地AI能力，推出全新Foundation Models框架

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画数据谷歌机器人大模型 Midjourney 用户智能开源微软 GPT 学习 Meta 图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法代码英伟达 Anthropic 芯片生成式开发者蛋白质腾讯神经网络研究 3D 生成训练苹果计算智能体 Sora 机器学习 AI设计 AI for Science Claude GPU AI视频人形机器人华为搜索场景百度大语言模型 xAI 预测伟达深度学习 Transformer 字节跳动 Agent 模态具身智能神器推荐 LLaMA 文本视觉 Copilot 算力工具 LLM 驾驶 API 大型语言模型应用 RAG 亚马逊