AI在线 AI在线

LightTransfer

优于o1预览版，推理阶段KV缓存缩减一半，LightTransfer降本还能增效

优于o1预览版，推理阶段KV缓存缩减一半，LightTransfer降本还能增效
LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。 然而，这也给 KV cache 的存储带来了严峻挑战。 为应对这一难题，“hybrid model” 成为了一条备受关注的可行路径：它在标准 transformer 的部分层中引入更高效的注意力机制（如 RNN 或 sliding window attention），以替代原有的注意力层。
3/10/2025 4:44:00 PM
机器之心
  • 1