自分のパソコンでChatGPTのようなAIを動かせる！100以上のモデル対応の超軽量エンジン — llama.cpp

アーキテクチャ・仕組み

llama.cppはC/C++で実装されたLLM（大規模言語モデル）推論エンジンで、基盤ライブラリとしてggmlを使用しています。外部依存を最小限に抑えた設計で、モデルはGGUFという独自のバイナリ形式で保存・読み込みされます。

対応バックエンド（17種類以上）

CPU+GPUのハイブリッド推論にも対応しており、VRAMに収まりきらない大規模モデルも部分的にGPUで高速化可能です。

CPU最適化

• Apple Silicon: ARM NEON、Accelerate、Metal フレームワークで最適化
• x86: AVX、AVX2、AVX512、AMX 命令セット対応
• RISC-V: RVV、ZVFH、ZFH等のベクトル拡張対応

量子化（モデル圧縮）

1.5ビット、2ビット、3ビット、4ビット、5ビット、6ビット、8ビットの整数量子化をサポート。これにより推論速度の向上とメモリ使用量の大幅な削減が可能です。NVIDIAとのコラボレーションによるネイティブMXFP4形式もサポートしています。

主要ツール

• llama-cli: コマンドラインで会話やテキスト生成を行うツール。チャットテンプレート、文法制約（GBNF）に対応
• llama-server: OpenAI API互換のHTTPサーバー。複数ユーザーの同時接続、投機的デコーディング、埋め込み(embedding)・リランキングの提供が可能
• llama-perplexity: モデルの品質（パープレキシティ）を測定するツール
• llama-bench: 推論パフォーマンスのベンチマークツール

多言語バインディング

Python、Go、Node.js、Rust、C#、Java、Ruby、Swift、Flutter/Dart、React Native、Zig、Clojure、PHPなど20以上の言語バインディングが利用可能です。ブラウザ上で動作するWebAssembly版も存在します。

マルチモーダル対応

LLaVA、Qwen2-VL、MiniCPMなどの画像理解モデルにも対応。llama-serverでマルチモーダルAPIを提供可能です。

XCFramework

iOS、visionOS、tvOS、macOS向けのプリコンパイル済みXCFrameworkが提供されており、Swift Package Managerから簡単に導入できます。

モデル取得

Hugging Faceから-hfオプションで直接ダウンロード可能。ダウンロード先は標準のHugging Faceキャッシュディレクトリに統合され、他のHFツールとモデルを共有できます。PyTorchモデルからGGUFへの変換スクリプトも同梱されています。

ライセンス

MITライセンスで公開されており、商用利用も可能です。

依存ライブラリ

• cpp-httplib（HTTPサーバー、MIT）
• stb-image（画像デコーダー、パブリックドメイン）
• nlohmann/json（JSONライブラリ、MIT）
• miniaudio.h（音声デコーダー、パブリックドメイン）

インストール方法（複数の選択肢あり）

パッケージマネージャーで導入:

# macOS (Homebrew)
brew install llama.cpp

# Windows (winget)
winget install llama.cpp

# Nix
nix-shell -p llama-cpp

ビルド済みバイナリ: リリースページからダウンロード

Dockerで実行:

# Docker用のドキュメントを参照

クイックスタート

# Hugging Faceからモデルをダウンロードしてチャット開始
llama-cli -hf ggml-org/gemma-3-1b-it-GGUF

# OpenAI互換のAPIサーバーを起動
llama-server -hf ggml-org/gemma-3-1b-it-GGUF

# ローカルのモデルファイルを使用
llama-cli -m my_model.gguf