AI在线 AI在线

混合架构

1.5倍长上下文突破：Meta混合架构如何重塑语言模型效率边界

1.5倍长上下文突破：Meta混合架构如何重塑语言模型效率边界
大家好，我是肆〇柒。 我最近看到一篇来自Meta AI研究团队的系统性分析——《Hybrid Architectures for Language Models: Systematic Analysis and Design Insights》。 这项由Meta的Sangmin Bae、Bilge Acun等工程师主导的研究，首次全面比较了层间混合与层内混合两类策略，揭示了混合架构如何突破语言模型的效率-质量权衡，特别在长上下文任务中实现1.5倍预训练长度的检索能力。
10/27/2025 9:38:26 AM
肆零柒
长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力

长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力
Mamba混合架构视频模型来了，不再对视频token进行压缩——而是通过改进模型架构设计的方式提升模型在训练及推理预填充阶段处理视频token的效率。 图片滑铁卢大学陈文虎团队与多伦多大学、零一万物、向量学院以及M-A-P的研究人员提出了一种新的Mamba-Transformer混合模型Vamba。 图片通过大量实验验证，研究团队发现Vamba在同等硬件条件下可处理的视频帧数较传统Transformer架构提升4倍，训练内存消耗降低50%以上，并且可实现单步训练速度的翻倍。
3/27/2025 12:20:25 PM
  • 1