スマホでもラズパイでもAIが動く！Googleの高速LLM推論エンジン — LiteRT-LM

対応プラットフォーム

• モバイル: Android、iOS（Swift対応は開発中）
• デスクトップ: Linux、macOS、Windows（WSL経由）
• Web: ブラウザ上での実行
• IoT: Raspberry Pi など

サポートされているプログラミング言語API

ハードウェアアクセラレーション

• GPU: デスクトップおよびモバイルのGPUを活用した高速推論（v0.8.0でデスクトップGPU対応追加）
• NPU: AI専用チップによるアクセラレーション（v0.7.0でGemmaモデル向けNPU対応追加）

対応モデル

• Gemma（Google製、Gemma 4を含む最新モデルに対応）
• Llama（Meta製）
• Phi-4（Microsoft製）
• Qwen（Alibaba製）
• その他多数

主要機能

• マルチモーダル対応: テキストだけでなく画像（ビジョン）や音声の入力をサポート
• ツール使用（Function Calling）: AIがアプリの機能を呼び出せる「エージェント的」ワークフローに対応。FunctionGemmaをファインチューニングして利用可能
• CLIツール: ターミナルからコード不要でモデルを試せるコマンドラインインターフェース
• HuggingFace連携: HuggingFaceリポジトリから直接モデルをダウンロードして実行可能

実績・採用事例

• Chrome: ブラウザ内でのオンデバイスGenAI体験
• Chromebook Plus: 端末上でのAI機能
• Pixel Watch: ウェアラブルデバイスでのAI
• Google AI Edge Gallery: Android/iOSアプリとして公開されており、Google PlayとApp Storeからインストール可能

リリース履歴

• v0.10.1: Gemma 4対応、LiteRT-LM CLI導入
• v0.9.0: 関数呼び出し機能の改善、アプリ安定性向上
• v0.8.0: デスクトップGPUサポート、マルチモーダル対応
• v0.7.0: GemmaモデルのNPUアクセラレーション

ビルド

ソースからのビルドも可能で、安定版のリリースタグをチェックアウトして使用することが推奨されている。

CLIツール（コマンドラインツール）でのクイックスタート

uv（Pythonパッケージマネージャ）を使って、コードを書かずにすぐ試せます：

# LiteRT-LM CLIをインストール
uv tool install litert-lm

# Gemmaモデルを使ってAIに質問する
litert-lm run \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --prompt="What is the capital of France?"

Gemma 4モデルを試す場合

litert-lm run \
   --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
   gemma-4-E2B-it.litertlm \
   --prompt="What is the capital of France?"

Linux、macOS、Windows（WSL）、Raspberry Piで動作します。