AIアプリの品質とセキュリティを丸ごとチェック！プロンプト評価＆脆弱性スキャンの決定版 — promptfoo

アーキテクチャ・仕組み

promptfooはCLI（コマンドラインツール）とNode.jsライブラリの両方として利用可能です。YAML形式の宣言的な設定ファイルにテスト内容を記述し、複数のプロンプトと複数のモデルの組み合わせを自動でテストします。テスト結果はブラウザベースのWebビューアで確認できます。

対応プロバイダー（AIサービス）

• OpenAI: GPT-4, GPT-3.5 など
• Anthropic: Claude シリーズ
• Google: Gemini
• AWS Bedrock: Amazon経由のモデル群
• Ollama: ローカル実行のオープンソースモデル
• Meta: Llama
• その他多数のプロバイダーに対応

主要な機能一覧

• 自動評価（Evals）: プロンプトとモデルの組み合わせを網羅的にテスト
• レッドチーミング: AIアプリの脆弱性スキャン・ペネトレーションテスト
• モデル比較: 複数モデルの出力を横並びで比較表示
• コードスキャニング: プルリクエスト時にLLM関連のセキュリティ・コンプライアンス問題を検出
• CI/CD統合: GitHub Actions等に組み込んで自動チェック
• ライブリロード: 設定変更時に即座に反映
• キャッシュ機能: API呼び出し結果をキャッシュして高速化・コスト削減
• チーム共有: テスト結果をチームメンバーと共有可能

プライバシー・セキュリティ

• LLMの評価処理は100%ローカルで実行される
• プロンプトや評価データが外部サーバーに送信されることはない（LLMプロバイダーへのAPI呼び出しを除く）

開発者体験の特徴

• 宣言的設定: YAML/JSONで簡潔にテストケースを定義
• 言語非依存: 任意のLLM APIやプログラミング言語と連携可能
• 高速実行: キャッシュやライブリロードにより快適な開発体験
• 本番実績: 1,000万人以上のユーザーにサービスを提供するプロダクションアプリで利用されている

インストール・実行方法

• npm、Homebrew、pip の3つの方法でインストール可能
• npx promptfoo@latest でインストール不要で実行も可能

ライセンス

• MIT License: 商用利用を含め自由に利用可能

コミュニティ

• Discordコミュニティが活発に運営されている
• GitHubでのコントリビューション（貢献）を歓迎

インストール方法（3つの方法から選べます）

npm（Node.js パッケージマネージャー）の場合:

npm install -g promptfoo

Homebrew（Mac用パッケージマネージャー）の場合:

brew install promptfoo

pip（Python パッケージマネージャー）の場合:

pip install promptfoo

インストールせずに試すことも可能:

npx promptfoo@latest

クイックスタート

1. サンプルプロジェクトを作成:

promptfoo init --example getting-started

1. APIキーを設定（OpenAIの場合）:

export OPENAI_API_KEY=sk-abc123

1. テストを実行して結果を確認:

cd getting-started
promptfoo eval
promptfoo view