LLM Deploy

BerriAI/litellm

BerriAI/litellm· Python

用 OpenAI 格式调百家 LLM 的 SDK 与 Gateway

在 GitHub 上看 →

登入以收藏

GitHub 数据

Stars: 45,219
Forks: 7,655
Watchers: 196
Open issues: 2,765

meta

License: NOASSERTION
主要语言: Python
最后 commit: 2026-04-29
数据抓取时间: 2026-04-29

LiteLLM 把 100+ 家 LLM 厂商（OpenAI、Anthropic、Bedrock、Vertex、Azure、vLLM、NIM 等）统一成 OpenAI 兼容接口。既可作为 Python SDK 直接调用，也能以 Proxy 模式部署为 AI Gateway，提供虚拟 key、预算管控、限流、故障转移、负载均衡、护栏与 Langfuse/Datadog 日志。`pip install litellm`，把现有 OpenAI client 指过来，改个模型字符串即可切换厂商。

编辑试用心得

团队需要多厂商接入＋集中 key 管理＋成本归属时，这基本是默认选择，Proxy 模式可直接上 prod，省得自己造 Gateway。SDK 写脚本够用，但抽象层偶尔跟不上上游新特性（新版 tool calling、beta 端点）。如果你只用单一厂商，或追求极致尾延迟想要 Go/Rust Gateway，可以看 Portkey 或 OpenRouter 等托管方案。