AI在线 AI在线

推理

谷歌之后,英伟达入局扩散大语言模型,Fast-dLLM推理速度狂飙27.6倍

在大语言模型(LLM)领域,推理效率是制约其实际应用的关键因素之一。 谷歌 DeepMind 的 Gemini diffusion 曾以 1400 tokens / 秒的生成速度震惊学界,展现了扩散模型在并行生成上的潜力。 然而,开源扩散 LLM 却因缺乏 KV 缓存机制和并行解码质量衰退,实际推理速度长期被自回归模型压制.近日,NVIDIA 联合香港大学、MIT 等机构重磅推出 Fast-dLLM,以无需训练的即插即用加速方案,实现了推理速度的突破!
5/30/2025 3:52:05 PM

苹果联合推出 AI 交错推理方法,Qwen2.5 模型响应速度快 80%、准确率提高 19.3%

苹果公司携手杜克大学,提出交错推理(Interleaved Reasoning)的全新强化学习(Reinforcement learning,RL)方法,进一步提升大语言模型的推理能力。
5/30/2025 2:45:12 PM
故渊

视频推理界的“福尔摩斯测试”:所有大模型,统统不及格 | 论文代码开源

一个新的Benchmark,竟让大模型在复杂视频推理这事儿上统统不及格! 这就是腾讯ARC Lab和香港城市大学最新推出的Video-Holmes——如其名,它可以说是视频推理界的“福尔摩斯测试”,通过让多模态大模型参与“推理杀人凶手”, “解析作案意图”等高难度的推理任务,以展现他们复杂视频推理能力的边界。 而且Video-Holmes可以说是规避了现在业内已有的Benchmark痛点,即视频源和问题都偏简单,没法反映推理模型和非推理模型之间的差距。
5/30/2025 9:17:00 AM

妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒

想象一下:你和AI聊天时,每句话都要等它3秒——血压是不是瞬间飙升? 低延迟LLM推理,就是专门针对这个问题的解决办法。 博客地址:「整了个大活」:他们手搓了个叫做「Megakernel」超级玩具(推理引擎),把Llama-1B的前向传播整个塞进单个GPU内核!
5/30/2025 9:12:00 AM

AI仅凭“自信”学会推理,浙大校友复刻DeepSeek长思维链涌现,强化学习无需外部奖励信号

复刻DeepSeek-R1的长思维链推理,大模型强化学习新范式RLIF成热门话题。 UC Berkeley团队共同一作Xuandong Zhao把这项成果称为:大模型无需接触真实答案,仅通过优化自己的信心,就能学会复杂推理。 具体来说,新方法完全不需要外部奖励信号或标注数据,只需使用模型自身的置信程度作为内在奖励信号。
5/30/2025 9:05:00 AM

CVPR 2025 | 字节提出个性化多人图像生成新方法ID-Patch,可生成多人合影、姿势可控

相信扩散模型(DMs)大家一定都不陌生了,目前已经成为文本生成图像的核心方法,凭借强大的图像生成能力,正重塑艺术创作、广告设计、社交媒体内容生产格局。 现在,用一段文字生成个性化头像都不算啥新鲜事儿了。 不过仍然会有这样一个问题,目前我们看到的基于人物的文生图大多还是生成一个人的,对于多人同时生成的目前还没有很好的样例。
5/29/2025 9:34:14 AM
AIGC Studio

港科大Apple新研究:Tokens使用量减少,模型推理还更强了

1 1等于几? 现在的大推理模型(LRMs)已经展现出了非凡的推理能力。 但是面对这样最简单的数学问题,现有的LRMs仍需要花费1400 的tokens来思考。
5/29/2025 9:20:00 AM

爆火论文颠覆RL认知!「错误奖励」让LLM推理暴涨24.6%,学界惊了

今早的一篇爆火论文,彻底颠覆了人们对「强化学习」的传统认知。 仅用随机奖励,甚至是错误答案,也能让AI在数学推理中性能暴涨! 来自华盛顿大学、AI2、UC伯克利研究团队证实,「伪奖励」(Spurious Rewards)也能带来LLM推理能力提升的惊喜。
5/29/2025 9:14:17 AM

一个省略号提示+强化学习搞定大模型“过度思考”,中科院自动化所新方法:从强制推理到自主选择

在日益强调“思维能力”的大语言模型时代,如何让模型在“难”的问题上展开推理,而不是无差别地“想个不停”,成为当前智能推理研究的重要课题。 中国科学院自动化研究所联合鹏城实验室提出了一种高效的推理策略,赋予推理大模型根据题目难度自主切换思考模式的能力:通过一个小小的省略号作为提示词 多阶段强化学习,引导大模型自主决定是否深度思考、思考多少。 研究背景:大模型“想太多”,是优点还是负担?
5/29/2025 9:08:00 AM

低Token高精度!字节复旦推出自适应推理框架CAR

过度依赖CoT思维链推理会降低模型性能,有新解了! 来自字节、复旦大学的研究人员提出自适应推理框架CAR,能根据模型困惑度动态选择短回答或详细的长文本推理,最终实现了准确性与效率的最佳平衡。 推理能力的进步极大提升了大语言模型(LLMs)和多模态大语言模型(MLLMs)在各类任务中的表现。
5/27/2025 3:28:47 PM

与Gemini Diffusion共振!首个扩散式「发散思维链」来了

近年来,思维链在大模型训练和推理中愈发重要。 近日,西湖大学 MAPLE 实验室齐国君教授团队首次提出扩散式「发散思维链」—— 一种面向扩散语言模型的新型大模型推理范式。 该方法将反向扩散过程中的每一步中间结果都看作大模型的一个「思考」步骤,然后利用基于结果的强化学习去优化整个生成轨迹,最大化模型最终答案的正确率。
5/27/2025 9:00:00 AM

打破思维链推理瓶颈!“软推理”让大模型学会人类抽象能力,token使用量还更少了

不再像CoT(“思维链”)一样“一个字一个字往外蹦”,加上“软思维”就能让大模型像人类一样进行抽象思考。 来自SimularAI和微软DeepSpeed的研究员联合提出了Soft Thinking,让模型在连续的概念空间中进行 “软推理”,而非局限于离散的语言符号,打破了基于离散token的推理瓶颈。 相比标准CoT,Soft Thinking最高提升Pass@1平均准确率2.48%、减少token使用量22.4%。
5/26/2025 8:40:00 AM

AI越聪明越不听话!新研究:最强推理模型指令遵循率仅50%

如果面前有两个AI助手:一个很聪明但经常不守规矩,另一个很听话但不太聪明,你会怎么选? 最近,上海人工智能实验室与香港中文大学的研究团队发布了论文《Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models》,通过一个全新的评测基准MathIF揭示:大模型越擅长复杂推理,越容易忽略用户的指令要求,“聪明”和“听话”之间存在明显的矛盾。 这项工作的灵感,源自实际使用推理模型(如o3)过程中的一个意外发现:相比许多经过强化推理训练的大模型,GPT-4o在执行具体指令时反而更加“听话” 。
5/26/2025 8:30:00 AM

首次,AI下棋不再是「黑盒」!

围棋因其独特的复杂性和对人类智能的深刻体现,可作为衡量AI专业能力最具代表性的任务之一。 目前,AI虽然在棋力、效率、通用性等方面均取得显著成绩,但其具体推理过程仍处于「黑盒」之中,更无法用人类语言解释其思考过程和结果。 大模型具备良好的自然语言交互性,如何通过提升大模型的推理能力,实现围棋专业能力突破,是摆在科研人员面前的一道难题。
5/26/2025 8:27:00 AM

英伟达再破世界纪录,每秒1000 token!刚刚,全球最快Llama 4诞生

你以为,AI推理的速度已经够快了? 不,英伟达还能再次颠覆你的想象——就在刚刚,他们用Blackwell创下了AI推理的新纪录。 仅仅采用单节点(8颗Blackwell GPU)的DGX B200服务器,英伟达就实现了Llama 4 Maverick模型每秒单用户生成1000个token(TPS/user)的惊人成绩!
5/23/2025 1:50:39 PM

小学数学题,大模型集体不及格!达摩院推出新基准VCBench

大模型做数学题的能力很强,可是它们真的能够理解基本的数学原理吗? 拿小学生的数学题进行测试,人类平均得分为93.30%,而大模型的表现让人意外:闭源模型中Gemini2.0-Flash(49.77%)、Qwen-VL-Max(47.03%)、Claude-3.7-Sonnet(46.63%)的综合表现最佳,但仍未突破50%准确率。 因为大模型可能并不能真正理解基本数学元素和视觉概念。
5/23/2025 8:47:00 AM

华为FlashComm技术助力大模型推理提速80%

在全球人工智能发展的浪潮中,模型推理的速度和效率愈发成为焦点。 近期,华为的数学团队在 DeepSeek 开源周期间推出了名为 FlashComm 的新技术,旨在通过三项创新措施,大幅提升大模型推理的性能,最高可达80% 的速度提升。 首先,FlashComm 技术重点优化了 AllReduce 通信操作。
5/22/2025 4:00:55 PM
AI在线