AI在线 AI在线

Megakernel

Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理

斯坦福 Hazy Research 团队刚刚公布了一项重量级优化成果:他们将开源模型 Llama-3.2-1B 的前向推理整合成了一个“Megakernel”,并将低延迟推理能力推向了极限。 在某些实时性极高的应用中,例如对话式 AI 和人类参与的交互式工作流中,大语言模型的响应速度不仅重要,甚至可以决定用户体验的成败。 团队认为限制 LLM 推理速度的瓶颈其实是在内存加载的问题上,他们经过研究发现,现有的开源推理引擎(如 vLLM、SGLang),在极低延迟的单序列生成任务下,即使在顶级 GPU(如 H100)上,也只能利用不到 50% 的内存带宽。
6/3/2025 12:49:00 PM
郑佳美
  • 1