AI在线 AI在线

VLLM

借助 Kubernetes 与 vLLM 实现大规模大语言模型推理

借助 Kubernetes 与 vLLM 实现大规模大语言模型推理
在当下的人工智能领域，大语言模型（LLMs）正以前所未有的力量推动各类应用变革，从智能聊天机器人、精准搜索引擎，到高效的代码辅助工具以及自动化文档处理系统，其身影无处不在。 然而，将大语言模型高效地部署到生产环境中，却面临着严峻的基础设施与工程挑战。 尤其是当需要同时处理数百甚至数千个并发请求，且要保证低延迟和高可靠性时，传统的技术方案往往难以应对。
9/2/2025 4:22:00 AM
大模型之路
AIBrix v0.4.0 发布：P/D 解耦与专家并行支持、KVCache v1 连接器、KV 事件同步与多引擎支持

AIBrix v0.4.0 发布：P/D 解耦与专家并行支持、KVCache v1 连接器、KV 事件同步与多引擎支持
AIBrix项目作为大模型推理的可扩展且高性价比的技术方案，项目于2025 年 2 月 21 日正式开源，并通过vLLM 官方博客官宣，为 vLLM 推理引擎提供可扩展且高性价比的控制面。 开源 72 小时内，AIBrix 收获的 GitHub Star 数已超 1K，96 小时突破 2K；开源一周左右，AIBrix 保持在 GitHub trending[1]榜第一的位置。 目前 GitHub Star 已超过 4K，贡献者超过 70 人。
8/21/2025 9:02:56 AM
AIBrix团队
大模型性能压测利器：解析vLLM推理服务压测工具

大模型性能压测利器：解析vLLM推理服务压测工具
在大模型部署的汪洋大海中，性能压测就像是航行中的指南针——不仅指引方向，还能预见暗礁。 今天我们来聊聊一个专门为vLLM推理服务量身定制的性能压测工具，看看它如何让大模型的性能评估变得既科学又优雅。 痛点：大模型性能评估的"黑盒困境"想象一下这样的场景：你刚刚部署了一个32B参数的DeepSeek-R1模型，信心满满地准备上线服务。
7/31/2025 1:47:00 AM
萤火AI百宝箱
DeepSeek推理引擎开源新路径，助力vLLM生态再升级

DeepSeek推理引擎开源新路径，助力vLLM生态再升级
最近，DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源，但并不会直接向公众开放完整的代码库。 相反，他们选择与现有的开源项目 vLLM 合作，致力于分享核心的优化成果。 这一举动旨在解决开源社区中普遍存在的代码库分歧、基础设施依赖及维护资源有限等难题。
4/16/2025 2:01:15 PM
AI在线
使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高

使用vLLM部署工具加速QWQ，推理速度比ollama更快、并发更高
与传统的HuggingFace Transformers相比，vLLM的吞吐量高达24倍，且无需改变模型架构，它采用创新的PagedAttention算法，优化了注意力键和值的管理，从而提升了推理速度，并且其能够有效地利用多核CPU和GPU资源，显著提升LLM的推理速度。 相比于ollama，vllm输出的速度更快，支持的并发更高，目前也没有遇到安全问题，稳定性非常好，更适合作为服务器的接口服务来部署。 但相应的，vllm会把服务器的GPU显存都占满，使得机器无法再部署其他服务，同时ollama部署更加的简单，也是因为这个原因ollama在最近部署deepseek的热潮中被提到的更多一些，因此个人使用可能ollama更合适。
4/9/2025 10:47:02 AM
贝塔街的万事
Ollama与vLLM部署对比：哪个更合适？

Ollama与vLLM部署对比：哪个更合适？
Ollama：简单易用的LLM部署工具 Ollama以其简洁的安装和易于使用的特性而闻名。 其官方文档清晰易懂，即使是新手也能快速上手。 Ollama支持多种LLM模型，并提供便捷的命令行界面进行管理和运行。
4/9/2025 8:20:00 AM
耗子
企业级模型推理部署工具vllm使用指南 - 部署最新deepseek-v3-0324模型

企业级模型推理部署工具vllm使用指南 - 部署最新deepseek-v3-0324模型
vLLM（Virtual Large Language Model）是由加州大学伯克利分校团队开发的高性能大模型推理框架，其核心特点围绕显存优化、高吞吐量、灵活性和易用性展开。 对比 ollama 作为个人开发者部署模型工具而言，vLLM 专注于高并发请求和大规模生产环境，适用于企业级应用和需要高效推理的场景。 vLLM 通过优化内存管理和并发处理，适合处理高负载的生产环境 。
4/9/2025 3:25:00 AM
使用 VLLM 部署 DeepSeek：基于 Ubuntu 22.04 + RTX 4090 + Docker 的完整指南

使用 VLLM 部署 DeepSeek：基于 Ubuntu 22.04 + RTX 4090 + Docker 的完整指南
最近，大语言模型（LLM）的部署已经成为 AI 开发者绕不开的核心技能。 而 VLLM 作为一款高性能、低延迟的推理引擎，在大模型推理领域迅速崛起。 今天，我就带大家从零开始，在 Ubuntu 22.04 RTX 4090 Docker 环境下，部署 DeepSeek模型，并让它跑起来！
3/12/2025 12:37:50 PM
写代码的中年人
  • 1