AI在线 AI在线

推理引擎

DeepSeek推理引擎开源新路径，助力vLLM生态再升级

DeepSeek推理引擎开源新路径，助力vLLM生态再升级
最近，DeepSeek 宣布了一项重要决定:将其自研的推理引擎进行开源，但并不会直接向公众开放完整的代码库。 相反，他们选择与现有的开源项目 vLLM 合作，致力于分享核心的优化成果。 这一举动旨在解决开源社区中普遍存在的代码库分歧、基础设施依赖及维护资源有限等难题。
4/16/2025 2:01:15 PM
AI在线
Pipeshift推出模块化推理引擎，实现AI推理GPU使用率降低75%

Pipeshift推出模块化推理引擎，实现AI推理GPU使用率降低75%
近日，初创公司 Pipeshift 推出了一款全新的端到端平台，旨在帮助企业更高效地训练、部署和扩展开源生成式 AI 模型。 该平台不仅可以在任何云环境或本地 GPU 上运行，还能够显著提升推理速度和降低成本。 随着 AI 技术的迅猛发展，许多企业面临着如何在多种模型之间高效切换的挑战。
1/24/2025 10:04:00 AM
AI在线
从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比

从本地部署到企业级服务：十种主流LLM推理框架的技术介绍与对比
大语言模型（Large Language Models, LLMs）的部署是一项具有技术挑战性的工作。 随着模型架构日益复杂，以及硬件需求不断提升，部署过程变得愈发复杂。 业界已经发展出多种解决方案，使LLM的部署和扩展变得更加便捷。
12/2/2024 2:41:00 PM
Gautam Chutani
  • 1