AI在线 AI在线

循环模型

Transformer死角,只需500步后训练,循环模型突破256k长度泛化极限

线性循环模型(如 Mamba)和线性注意力机制都具备这样一个显著优势:它们能够处理极长的序列,这一能力对长上下文推理任务至关重要。 事实上,这正是它们相较于 Transformer 的关键优势 —— 后者受限于有限的上下文窗口,且在序列长度上的计算复杂度是二次的,成为性能瓶颈。  过去,循环模型面临的主要问题是性能不足:在处理短序列时,它们的表现往往不如 Transformer。
7/8/2025 1:07:00 PM
机器之心
  • 1