# llmops

LiteLLMは、OpenAI・Anthropic・Azure・Google Vertex AIなど100以上のAI言語モデル（LLM）を、たった1つの共通フォーマットで呼び出せるPython SDK（開発者向けツール）とAIゲートウェイ（

🪢 Open source LLM engineering platform: LLM Observability, metrics, evals, prompt management, playground, datasets. Integrates with OpenTelemetry, Langchain, OpenAI SDK, LiteLLM, and more. 🍊YC W23

promptfooは、AIアプリ（ChatGPTのようなAIを使ったサービス）の品質チェックとセキュリティ検査を自動化するツールです。「この質問をしたらAIが正しく答えるか？」「悪意ある入力で情報が漏れないか？」といったテストを、設定ファイ