LiteLLM 安装与部署

LiteLLM 可以作为本地代理，也可以部署到服务器作为团队网关。

使用 pip 安装

pip install "litellm[proxy]"

启动代理

准备 config.yaml 后运行：

litellm --config config.yaml --port 4000

启动后，下游 OpenAI 兼容工具可以使用：

http://localhost:4000/v1

Docker 部署

团队环境可以使用 Docker 或 Compose 部署，并通过环境变量传入 Xikapi API Key。

安全建议

• 对外开放 LiteLLM proxy 时必须配置认证。
• 不要把上游 Xikapi Key 暴露给普通用户。
• 建议给不同业务设置不同的 LiteLLM key 和预算。