# llmops

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

🪢 Open source LLM engineering platform: LLM Observability, metrics, evals, prompt management, playground, datasets. Integrates with OpenTelemetry, Langchain, OpenAI SDK, LiteLLM, and more. 🍊YC W23

promptfooは、AIアプリ（ChatGPTのようなAIを使ったサービス）の品質チェックとセキュリティ検査を自動化するツールです。「この質問をしたらAIが正しく答えるか？」「悪意ある入力で情報が漏れないか？」といったテストを、設定ファイ

Fine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.