litellm 仓库中文介绍文档

litellm 是一款开源的 AI 网关，支持以 OpenAI 格式调用 100 多个 LLM API，提供成本跟踪、护栏、负载平衡和日志记录功能，由 BerriAI 维护。它汇聚了 Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic 等多个主流模型服务。

要点：

这是一个用于调用多种大语言模型的开源 AI 网关工具
支持 100+ LLM API，具有成本追踪、负载均衡等高级功能
由 BerriAI 开发维护，适用于开发者和企业用户

示例： OpenBB 是一款面向金融分析师、量化交易员与 AI 智能体的开源金融数据平台，以"一次连接、随处消费"为核心架构，统一接入股票、期权、加密等多资产数据。

一、核心信息速览

维度	详情
:---	:---
仓库地址	[litellm](https://github.com/BerriAI/litellm)
许可证	MIT
核心定位	提供一个统一的 AI 网关，支持多种大语言模型 API 调用
主要语言	Python
适用人群	开发者、企业用户、AI 研究人员
关键亮点	支持 100+ LLM；提供成本追踪；具备负载均衡；支持日志记录

二、核心功能

功能模块	描述	典型场景
:---	:---	:---
LLM 调用	支持多种 LLM API 的统一调用接口	快速集成多种大语言模型
成本跟踪	记录每个请求的成本，便于成本管理	优化模型使用成本
护栏	提供内容过滤和安全机制	防止生成不当内容
负载平衡	自动分配请求到不同的模型实例	提高系统稳定性
日志记录	记录所有请求和响应信息	方便调试和分析
AI 网关	作为中间层代理，简化模型调用流程	降低开发复杂性
扩展性	支持自定义模型和扩展功能	适应不同业务需求
代理服务器	提供自托管或托管的代理服务	便于部署和管理

三、快速上手

1. 环境准备

Python 3.7 或更高版本

2. 安装方式

pip install litellm

3. 基础配置

设置 API 密钥和其他相关参数（具体参考官方文档）

4. 核心示例

from litellm import completion

response = completion(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "Hello, how are you?"}],
)
print(response.choices[0].message.content)

四、核心亮点

支持 100+ LLM：覆盖主流的大语言模型服务。
成本追踪：可以实时监控每次调用的成本。
负载均衡：自动分配请求，提升系统稳定性和性能。
日志记录：记录所有请求和响应信息，便于调试和分析。

五、适用场景

多模型集成：需要同时调用多个大语言模型的场景。
成本控制：希望对模型调用成本进行精细化管理的企业。
安全性要求高的应用：需要内容过滤和安全防护的场景。
快速部署：需要快速搭建 AI 服务的开发团队。

六、优缺点

优势

支持多种大语言模型，易于集成
提供成本管理和日志记录功能
可自托管或使用托管服务

不足

需要一定的配置和管理能力
对于新手可能需要一定学习曲线

七、与同类工具对比（可选）

工具	类型	核心差异
:---	:---	:---
litellm	开源 AI 网关	免费开源、支持 100+ 模型、功能全面
Azure OpenAI	商业服务	提供企业级支持，但价格较高

八、总结

litellm 是一款适合开发者和企业的开源 AI 网关工具，支持 100+ 大语言模型 API 调用，具备成本追踪、负载均衡等核心功能。它在多模型集成、成本控制和安全性方面表现优异，但在使用上需要一定的配置和管理能力。

AI 工具导航

litellm - 大模型统一调用工具

详细介绍