100以上のAIモデルを1つの窓口で呼び出せる！LLM統合ゲートウェイ — litellm

BerriAI/litellmPython40.9k

LiteLLMは、OpenAI・Anthropic・Azure・Google Vertex AIなど100以上のAI言語モデル（LLM）を、たった1つの共通フォーマットで呼び出せるPython SDK（開発者向けツール）とAIゲートウェイ（中継サーバー）です。例えるなら「世界中の言語を話す通訳者」のような存在で、どのAIプロバイダーを使う場合でも同じ書き方でプログラムを書けるため、コードの書き換えが不要になります。コスト追跡（利用料金の自動集計）、ガードレール（安全制限）、ロードバランシング（負荷分散）、ログ記録などの運用に必要な機能も揃っています。Stripe・Netflix・Google ADKなど大手企業にも採用されており、Y Combinator卒業のスタートアップが開発しています。複数のAIサービスを組み合わせて使いたい開発チームやML基盤チームに最適なツールです。

🔥 なぜ話題？

生成AI活用が企業レベルで急速に進む中、複数のLLMプロバイダーを一元管理したいというニーズが爆発的に増えています。LiteLLMはA2Aプロトコル（エージェント間通信）やMCPサーバー連携など最新のAIエージェント技術にも対応しており、AIゲートウェイのデファクトスタンダード（事実上の標準）として注目を集めています。

💡 こう使える！

社内でOpenAIのGPT-4oとAnthropicのClaudeを併用しているチームが、LiteLLMのAIゲートウェイを立てることで、全社員に統一のAPIキーを配布し、どちらのモデルを使っても同じ形式でリクエストできるようになります。さらに、部署ごとのAI利用料金を自動で集計し、月末にコストレポートを出すといった運用が簡単に実現できます。

ユースケース: 複数のAIサービスを統一的に管理し、コスト追跡やアクセス制御を一元化したい開発チームや企業のAI基盤構築に使える。

OpenAI・Anthropic・Azureなど100以上のLLMプロバイダーを統一フォーマットで呼び出せる
コスト追跡・仮想APIキー・ガードレール・ロードバランシングなど企業運用に必要な機能が充実
AIエージェント間通信（A2A）やMCPサーバー連携など最新技術に対応
P95レイテンシ8ミリ秒（1秒あたり1000リクエスト時）の高パフォーマンス
Stripe・Netflix・OpenAI Agents SDKなど大手企業・プロジェクトでの採用実績

GitHubで見る →

Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]

技術情報

言語

Python

ライセンス

NOASSERTION

最終更新

2026-03-26

スター数

40,900

フォーク数

6,742

Issue数

2,098

トピック

ai-gatewayanthropicazure-openaibedrockgatewaylangchainlitellmllmllm-gatewayllmopsmcp-gatewayopenaiopenai-proxyvertex-ai

技術詳細

アーキテクチャ・仕組み

LiteLLMは2つの利用形態を提供しています：

Python SDK: Pythonコード内で直接 completion() 関数を呼ぶだけで、100以上のLLMプロバイダーをOpenAI互換フォーマットで利用可能
AIゲートウェイ（Proxy Server）: 中央集権的なAPIゲートウェイとして動作し、認証・認可、マルチテナントコスト管理、仮想キー、管理ダッシュボードUIを提供

対応エンドポイント

/chat/completions - チャット応答
/responses - レスポンスAPI
/messages - Anthropicネイティブ形式
/embeddings - テキスト埋め込み
/image/generations - 画像生成
/audio/transcriptions - 音声文字起こし
/audio/speech - テキスト読み上げ
/moderations - コンテンツモデレーション
/batches - バッチ処理
/rerank - リランキング
/a2a - エージェント間通信

パフォーマンス

P95レイテンシ: 8ミリ秒（1,000 RPS時）
-stable タグのDockerイメージは12時間の負荷テストを通過済み

主要な機能

100以上のLLMプロバイダー対応: OpenAI, Anthropic, Azure, Bedrock, Vertex AI, Cohere, Groq, Mistral, Deepseek, Ollamaなど
A2Aプロトコル対応: LangGraph, Vertex AI Agent Engine, Azure AI Foundry, Bedrock AgentCore, Pydantic AIのエージェントを呼び出し可能
MCPゲートウェイ: MCPサーバーを任意のLLMに接続。Cursor IDEとの連携も可能
Routerモジュール: リトライ・フォールバックロジック、複数デプロイメント間のロードバランシング
コスト追跡: プロジェクト・ユーザー単位での利用料金管理
ガードレール: セキュリティ・安全性の制御
仮想キー: アクセス制御用のバーチャルAPIキー発行
オブザーバビリティ: Lunary, MLflow, Langfuseなどとの統合
OpenAI互換エラーハンドリング: 例外処理の統一

開発環境セットアップ

# バックエンド
python -m venv .venv
source .venv/bin/activate
pip install -e ".[all]"
pip install prisma
prisma generate
python litellm/proxy/proxy_cli.py

# フロントエンド
cd ui/litellm-dashboard
npm install
npm run dev

依存サービス: docker-compose up db prometheus

コード品質

Google Python Style Guide準拠
Black（フォーマッター）、Ruff（リンター）、MyPy（型チェック）を使用
循環インポート検出・インポート安全チェックあり

エンタープライズ版

シングルサインオン（SSO）
カスタムSLA
機能優先対応
カスタム統合
専用Discord/Slackサポート
LiteLLM Commercial Licenseの機能を含む

OSS採用企業

Stripe, Netflix, Google ADK, OpenAI Agents SDK, Greptile, OpenHandsなど

デプロイ

Render、Railwayへのワンクリックデプロイに対応。Dockerイメージも提供。

インストール・クイックスタート

Python SDKのインストール

pip install litellm

基本的な使い方（Python SDK）

from litellm import completion
import os

os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["ANTHROPIC_API_KEY"] = "your-anthropic-key"

# OpenAIのモデルを呼び出す
response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])

# Anthropicのモデルを呼び出す
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])

AIゲートウェイ（プロキシサーバー）の起動

pip install 'litellm[proxy]'
litellm --model gpt-4o

その後、OpenAIクライアントから http://0.0.0.0:4000 にアクセスして利用できます。