译者 | 核子可乐
审校 | 重楼
摘要：
LiteLLM 允许开发者像调用 OpenAI API 那样集成各种大语言模型（LLM），并支持故障转移、预算控制、速率限制以及对API调用的实时监控。
不同提供商发布的大语言模型（LLM）层出不穷——包括 Anthropic、谷歌、Meta、微软、英伟达、OpenAI 等等——这为开发者提供了丰富的选择，但也令复杂性一路攀升。每家提供商都有其独特的API特性和响应格式，使得在同一个应用中切换模型或支持多个后端变得愈发困难。作为一个开源项目，LiteLLM提供统一接口（和网关）以直接应对这种碎片化问题，可使用单一且一致的格式调用超百种大模型API。
本质上，LiteLLM就像是大模型的“万能遥控器”，让开发者可以像调用 OpenAI API那样整合各种不同模型，无需为底层提供商的差异分神。
自发布以来，LiteLLM在AI开发者社区迅速获得关注。该项目的GitHub仓库（由Y Combinator支持的BerriAI团队维护）已获得超过20K 颗星和2600次分叉。之所以人气爆棚，部分原因在于它能够切实解决需求。Netflix、Lemonade和Rocket Money等组织都已采用LiteLLM，在最小开销下实现对新模型的即时访问。通过推动开发者与大模型提供商间交互方式的标准化，LiteLLM承诺加快最新模型的集成速度，并在整个不断演进的大模型生态中提供顺畅体验。
本文将探讨LiteLLM的起源和目标，包括其核心功能和关键特性，并通过实际示例展示它如何简化大模型使用。我们还将介绍面向商业用途的LiteLLM企业版，并将其与其他同类方案进行比较。
项目综述——LiteLLM
LiteLLM 本质上是一种通用的大模型API适配器，允许开发者通过标准化接口与各类提供商进行交互。该项目支持多家主流大模型提供商，包括Anthropic、AWS Bedrock、AWS SageMaker、Azure OpenAI、DeepSeek、Google Vertex AI、OpenAI以及Ollama。
该项目围绕两个核心组件构建：Python SDK和代理服务器。Python SDK为开发者提供了一个易于使用的库，用于将多种大模型整合到他们的应用程序中。与此同时，代理服务器作为生产级网关，主要面向大规模大模型管理用例。它提供了集中式的成本跟踪、访问控制和对API调用的实时监控。
LiteLLM的设计初衷在于简化多模型应用程序的开发过程，并减少平台团队在管理多个模型提供商时所面临的摩擦。根据项目维护者的说法，LiteLLM简化了模型访问、支出追踪以及跨百余个大语言模型的故障转移机制。
从实践角度来看，LiteLLM旨在为开发团队节省时间和精力。与其为每个新的模型API编写定制化的集成代码，或者等待厂商发布特定SDK，开发者可以利用LiteLLM提供的统一SDK和代理服务器实现即刻兼容。
LiteLLM解决了什么问题？
当开发者试图将多个大模型集成到应用程序中时，往往面临重大挑战。其中最主要的问题之一就是API异构性，因为不同提供商具有不同的输入/输出格式和认证机制，这可能使开发过程变得复杂。此外，为了应对提供商宕机或请求频率限制，故障转移机制中需要编写大量定制代码，而这往往既易出错又相当耗时。
另一个常见的痛点是成本透明度不足。当多个大模型被用于不同项目或团队时，准确追踪支出变得更为困难。如果没有适当的工具，组织可能会超出预算，或无法有效优化成本。
LiteLLM 通过提供统一API来标准化所有受支持提供商之间的交互，顺利解决了这些问题。此外，它还内置有失败请求自动重试和实时成本分析等功能，使开发者能够专注于构建应用程序，而不必分神管理基础设施。
深入了解LiteLLM
LiteLLM的设计既灵活又强大。它的核心能力在于无论选择哪家基座模型提供商，都能将所有API调用转换为OpenAI熟悉的completion()语法。这意味着开发者可以在不大幅修改代码库的前提下轻松地在不同模型之间切换。
例如，一位开发者希望在某个任务中使用Anthropic Claude 3而不是 OpenAI GPT-4，那么他只需在请求中指定模型名称即可。LiteLLM会接手处理其余事项，包括身份验证和格式转换。
除了统一API，LiteLLM还提供多项高级功能，如动态故障转移和结构化输出。动态故障转移允许请求在主模型故障或不可用时自动路由到备用模型上，确保即使在提供商宕机期间也能保持高可用性。结构化输出则允许开发者使用Pydantic模式验证响应，从而减少下游处理中的错误。
以下是如何使用LiteLLM以OpenAI格式调用Anthropic Claude 3：
复制from litellm import completion
response = completion(
model="anthropic/claude-3",
messages=[{"role": "user", "content": "Explain quantum computing"}]
)
print(response.choices[0].message.content) # Outputs Claude's response对于生产环境，LiteLLM代理服务器可被部署为集中式网关。这允许多个团队或应用程序共享对大模型的访问权限，同时仍能控制成本和用量上限：
复制litellm --model openai/gpt-4 --api_key sk-xyz
如此一来，客户端就可以使用标准OpenAI库与代理服务器交互：
复制import openai client = openai.OpenAI(base_url="http://localhost:8000") client.chat.completions.create(model="gpt-4", messages=[...])
LiteLLM关键用例
LiteLLM 提供多项适合企业场景的功能。其中最受欢迎的应用之一是多云大模型编排。企业通常会使用多家提供商来确保冗余或基于特定任务优化成本。借助LiteLLM，开发者可以无缝地在不同提供商之间分配请求：
复制response = completion(
model=["azure/gpt-4", "aws-bedrock/claude-3"],
messages=[{"role": "user", "content": "What are black holes?"}]
)对企业而言，另一项关键功能是成本治理。LiteLLM通过代理服务器仪表板提供实时成本分析。组织可以为不同团队或项目设置月度预算，并监控所有受支持模型的支出情况。这种级别的透明度有助于防止预算超支并确保资源得到高效配置。
审计合规性也是LiteLLM的强项之一。代理服务器会安全记录所有输入/输出元数据，帮助组织轻松满足监管要求或开展内部审查。
总结
LiteLLM 不仅仅是开源项目，更是一种用于对多提供商大模型部署进行规模化部署的全面解决方案。通过简化API交互并添加诸如动态故障转移和成本分析等强大功能，LiteLLM使开发者能够构建稳健的生成式AI应用程序，而不必分神于基础设施的管理复杂性。
LiteLLM将Python SDK与代理服务器的优势相结合，使其既适合小型团队进行AI实验，又适合运行关键任务负载的大型企业。凭借活跃的社区支持和BerriAI团队的持续更新，LiteLLM有望在未来几年内成为统一大模型接入的首选方案。
原文标题：LiteLLM: An open-source gateway for unified LLM access，作者：Janakiram MSV
