AI在线 AI在线

AIBrix

AIBrix v0.4.0 发布：P/D 解耦与专家并行支持、KVCache v1 连接器、KV 事件同步与多引擎支持

AIBrix v0.4.0 发布：P/D 解耦与专家并行支持、KVCache v1 连接器、KV 事件同步与多引擎支持
AIBrix项目作为大模型推理的可扩展且高性价比的技术方案，项目于2025 年 2 月 21 日正式开源，并通过vLLM 官方博客官宣，为 vLLM 推理引擎提供可扩展且高性价比的控制面。 开源 72 小时内，AIBrix 收获的 GitHub Star 数已超 1K，96 小时突破 2K；开源一周左右，AIBrix 保持在 GitHub trending[1]榜第一的位置。 目前 GitHub Star 已超过 4K，贡献者超过 70 人。
8/21/2025 9:02:56 AM
AIBrix团队
深度解析：通过 AIBrix 多节点部署 DeepSeek-R1 671B 模型

深度解析：通过 AIBrix 多节点部署 DeepSeek-R1 671B 模型
原文链接： AIBrix 分布式推理平台实现 DeepSeek-R1 671B 的多节点部署。 DeepSeek-R1 通过渐进式训练框架展现出优秀的逻辑推理能力 —— 在 6710 亿总参数量中，其动态激活的 370 亿参数与 128k 上下文窗口，使其在复杂任务处理中表现卓越。 然而，如此庞大的模型规模对部署环境提出了严苛挑战，尤其是分布式推理的资源调度与性能优化。
4/3/2025 6:30:00 AM
字节跳动开源
字节跳动推出 AIBrix：全新开源推理系统专为大语言模型设计

字节跳动推出 AIBrix：全新开源推理系统专为大语言模型设计
字节跳动近日宣布开源其最新研发的 AIBrix 推理系统。 这一系统特别为 vLLM 推理引擎打造，目标是提供一个可扩展且高性价比的推理控制面，满足企业日益增长的 AI 需求。 AIBrix 的推出标志着一个新阶段的开始，项目团队希望通过这一开源项目为构建可扩展的推理基础设施奠定基础。
2/28/2025 11:08:00 AM
AI在线
  • 1