AIがファイルの中身を瞬時に見抜く！200種類以上を99%の精度で判定 — magika

アーキテクチャ・仕組み

• Magikaは深層学習（ディープラーニング）ベースのカスタムモデルを使用し、ファイルの内容の一部だけを読み取って種類を判定する
• モデルサイズは数MB程度と非常に軽量で、CPU単体でも高速に動作する
• ファイルサイズに依存せず、ほぼ一定の推論時間を実現（ファイルの一部のみ使用するため）
• コンテンツタイプごとのしきい値システムを採用し、予測の信頼度が低い場合は「汎用テキスト」「不明なバイナリ」といった一般的なラベルを返す

対応コンテンツタイプ

• 200種類以上のコンテンツタイプに対応（バイナリ形式とテキスト形式の両方をカバー）
• 約1億件（~100M）のサンプルデータで学習・評価済み

パフォーマンス

• 精度: テストセットで平均約99%の適合率（precision）と再現率（recall）
• 推論速度: モデルロード後、1ファイルあたり約5ミリ秒（CPU実行時）
• 特にテキスト系コンテンツタイプの判定で既存手法を大幅に上回る精度

対応言語・プラットフォーム

• CLI: Rustで記述。pipx / brew / cargo / インストーラスクリプトで導入可能
• Python: PyPI経由でmagikaパッケージとして利用可能
• JavaScript/TypeScript: npm経由でmagikaパッケージとして利用可能（実験的）。Webデモはブラウザ上でローカル実行される
• Go: 開発中（WIP）
• Rust: バインディング提供

予測モード

• high-confidence: 信頼度の高い予測のみを返す（エラー耐性を高める）
• medium-confidence: 中程度の信頼度でも結果を返す
• best-guess: 最も可能性の高い結果を常に返す

CLI出力形式

• デフォルトのテキスト出力、JSON、JSONL、カスタムフォーマット（--formatオプション）に対応
• MIME型（-i）、ラベル（-l）、スコア（-s）の出力オプションあり
• 再帰スキャン（-r）、シンボリックリンクの扱い、標準入力（-）にも対応

Python API

• Magikaクラスを通じて3つの判定メソッドを提供:
  • identify_path(): ファイルパスから判定
  • identify_bytes(): バイト列から判定
  • identify_stream(): ストリーム（ファイルオブジェクト）から判定

実績・連携

• Google社内: Gmail、Googleドライブ、セーフブラウジングで週あたり数千億ファイルを処理
• 外部連携: VirusTotal、abuse.ch（マルウェアサンプル共有プラットフォーム）に統合済み

研究論文

• IEEE/ACM International Conference on Software Engineering（ICSE）2025で発表済み

ライセンス

• Apache 2.0ライセンス — 商用利用を含む幅広い利用が可能
• Googleの公式プロジェクトではなく、品質や適合性の保証はない旨の免責事項あり

コマンドラインツール（CLI）のインストール

pipx経由（Pythonが必要）:

pipx install magika

brew経由（macOS / Linux）:

brew install magika

インストーラスクリプト経由:

curl -LsSf https://securityresearch.google/magika/install.sh | sh

Cargo経由（Rustが必要）:

cargo install --locked magika-cli

Pythonパッケージ

pip install magika

JavaScriptパッケージ

npm install magika

基本的な使い方

# ファイルの種類を判定
magika ファイル名

# ディレクトリを再帰的にスキャン
magika -r ディレクトリ名

# JSON形式で出力
magika ファイル名 --json

# 標準入力から判定
cat ファイル名 | magika -