AI在线 AI在线

混合架构

英伟达推出 Nemotron 3：混合架构提升 AI 代理处理效率

英伟达推出 Nemotron 3：混合架构提升 AI 代理处理效率

英伟达近日发布了其全新的 Nemotron 3 系列，这一系列产品结合了 Mamba 和 Transformer 两种架构，旨在高效处理长时间上下文窗口，同时减少资源消耗。 Nemotron 3 系列专为基于代理的人工智能系统设计，这类系统能够自主执行复杂任务，持续进行长时间的交互。 新产品系列包括三个型号：Nano、Super 和 Ultra。
12/18/2025 4:36:09 PM AI在线
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？

谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？

鱼羊 发自 凹非寺. 量子位 | 公众号 QbitAITransformer的提出者谷歌，刚刚上来给了Transformer梆梆就两拳（doge）。 两项关于大模型新架构的研究一口气在NeurIPS 2025上发布，通过“测试时训练”机制，能在推理阶段将上下文窗口扩展至200万token。
12/5/2025 6:48:55 PM 鱼羊
1.5倍长上下文突破：Meta混合架构如何重塑语言模型效率边界

1.5倍长上下文突破：Meta混合架构如何重塑语言模型效率边界

大家好，我是肆〇柒。 我最近看到一篇来自Meta AI研究团队的系统性分析——《Hybrid Architectures for Language Models: Systematic Analysis and Design Insights》。 这项由Meta的Sangmin Bae、Bilge Acun等工程师主导的研究，首次全面比较了层间混合与层内混合两类策略，揭示了混合架构如何突破语言模型的效率-质量权衡，特别在长上下文任务中实现1.5倍预训练长度的检索能力。
10/27/2025 9:38:26 AM 肆零柒
长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力

长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力

Mamba混合架构视频模型来了，不再对视频token进行压缩——而是通过改进模型架构设计的方式提升模型在训练及推理预填充阶段处理视频token的效率。 图片滑铁卢大学陈文虎团队与多伦多大学、零一万物、向量学院以及M-A-P的研究人员提出了一种新的Mamba-Transformer混合模型Vamba。 图片通过大量实验验证，研究团队发现Vamba在同等硬件条件下可处理的视频帧数较传统Transformer架构提升4倍，训练内存消耗降低50%以上，并且可实现单步训练速度的翻倍。
3/27/2025 12:20:25 PM