AI在线 AI在线

大模型推理

AIBrix v0.4.0 发布:P/D 解耦与专家并行支持、KVCache v1 连接器、KV 事件同步与多引擎支持

AIBrix项目作为大模型推理的可扩展且高性价比的技术方案,项目于2025 年 2 月 21 日正式开源,并通过vLLM 官方博客官宣,为 vLLM 推理引擎提供可扩展且高性价比的控制面。 开源 72 小时内,AIBrix 收获的 GitHub Star 数已超 1K,96 小时突破 2K;开源一周左右,AIBrix 保持在 GitHub trending[1]榜第一的位置。 目前 GitHub Star 已超过 4K,贡献者超过 70 人。
8/21/2025 9:02:56 AM
AIBrix团队
  • 1