LLM Deploy

BerriAI/litellm

BerriAI/litellm· Python

統一 OpenAI 格式呼叫百家 LLM 的 SDK 與 Gateway

在 GitHub 上看 →

登入以收藏

GitHub 數據

Stars: 45,219
Forks: 7,655
Watchers: 196
Open issues: 2,765

meta

License: NOASSERTION
主要語言: Python
最後 commit: 2026-04-29
數據抓取時間: 2026-04-29

LiteLLM 把 100+ 家 LLM 供應商（OpenAI、Anthropic、Bedrock、Vertex、Azure、vLLM、NIM 等）統一成 OpenAI 相容介面。可當 Python SDK 直接呼叫，也能以 Proxy 模式部署成 AI Gateway，提供虛擬金鑰、預算控管、速率限制、容錯切換、負載平衡、護欄與 Langfuse/Datadog 日誌。`pip install litellm`、把現有 OpenAI client 指過來、改個模型字串就能切換供應商。

編輯試用心得

團隊需要多供應商接入＋集中金鑰管理＋成本歸屬時，這幾乎是預設選擇，Proxy 模式可直接上 prod，不必自己造 Gateway。SDK 用在腳本沒問題，但抽象層偶爾會跟不上上游新功能（新版 tool calling、beta 端點）。如果你只用單一供應商、或追求極致尾延遲想要 Go/Rust Gateway，可考慮 Portkey 或 OpenRouter 等託管方案。