统一 LLM 网关，一个接口调用 100+ 模型
更新于 2026-07-07
← 返回汇总统一 LLM 网关，一个接口调用 100+ 模型
开源 AI Gateway 事实标准。SDK 或独立 Proxy 把 OpenAI/Anthropic/Gemini/Bedrock 等 100+ LLM 统一成 OpenAI 格式。虚拟密钥、花费追踪、负载均衡、fallback、缓存。Netflix 在用，8ms P95 延迟。已扩展支持 A2A Agent 与 MCP 工具。
BerriAI 出品，把 OpenAI/Anthropic/Gemini/本地模型等统一成单一接口。
每个 LLM 提供商 API 格式各异，切换成本高。
不同模型价格差异大，缺乏统一成本视图。
单一模型宕机即业务中断，缺少 fallback。
# 30 秒起一个网关 pip install litellm[proxy] litellm --model gpt-4o
LLM 网关事实标准。多模型时代基础设施级项目，随着 Agent 应用爆发，作为统一入口的价值持续增长。