150分の音声をたった98秒で文字起こし！爆速Whisper体験 — insanely-fast-whisper

アーキテクチャ・仕組み

insanely-fast-whisperは以下の技術スタックを組み合わせて高速化を実現しています：

• Hugging Face Transformers: Whisperモデルの推論基盤
• Optimum / BetterTransformer: Transformerモデルの最適化
• Flash Attention 2: アテンション計算を高速化するアルゴリズム
• バッチ処理: 音声を分割し並列処理（デフォルトバッチサイズ: 24）
• fp16（半精度浮動小数点）: メモリ使用量を半減しつつ高速化

ベンチマーク（Nvidia A100 - 80GB）

Google Colab T4 GPU向けのベンチマークも提供されています。

対応環境

• GPU: NVIDIA CUDA対応GPU、Apple Silicon Mac（MPSバックエンド）
• OS: Linux、macOS（Windowsはtorchの手動インストールが必要な場合あり）
• Python: 3.11系ではpipxの互換性問題あり（--ignore-requires-pythonで回避可能）

主要機能

• 文字起こし（transcribe）: 音声をそのままの言語でテキスト化
• 翻訳（translate）: 他言語への翻訳付き文字起こし
• タイムスタンプ: チャンク単位・単語単位の2種類に対応
• 話者分離（diarization）: pyannote.audioモデルを使った話者識別（Hugging Faceトークンが必要）
• 話者数指定: 正確な話者数、最小/最大話者数の指定が可能
• モデル選択: whisper-large-v3（デフォルト）、distil-whisperなど任意のモデルを指定可能
• 入力形式: ローカルファイルパスおよびURLに対応

制約・注意点

• MPSバックエンド（Mac）はCUDAほど最適化されておらず、メモリ消費が多い（--batch-size 4推奨、約12GB VRAM使用）
• Flash Attention 2はNVIDIA GPU専用
• Windows環境ではTorch not compiled with CUDA enabledエラーが発生する場合があり、torchの手動インストールが必要
• 出力形式はJSON（デフォルト: output.json）

CLIなしでのPython利用

import torch
from transformers import pipeline

pipe = pipeline(
    "automatic-speech-recognition",
    model="openai/whisper-large-v3",
    torch_dtype=torch.float16,
    device="cuda:0",
)

outputs = pipe(
    "<FILE_NAME>",
    chunk_length_s=30,
    batch_size=24,
    return_timestamps=True,
)

ライセンス・コミュニティ

コミュニティ主導のプロジェクトであり、ユーザーの要望に基づいて機能追加が行われています。関連プロジェクトとして、NextJS + Modalを使ったWebアプリ「Shush」やwhisper-plusパッケージなどが派生しています。

インストール手順

1. pipx をインストール（まだ入っていない場合）:

pip install pipx
# または macOS の場合
brew install pipx

1. insanely-fast-whisper をインストール:

pipx install insanely-fast-whisper

⚠️ Python 3.11系の場合は以下のコマンドを使用:

pipx install insanely-fast-whisper --force --pip-args="--ignore-requires-python"

1. Flash Attention 2 を使いたい場合:

pipx runpip insanely-fast-whisper install flash-attn --no-build-isolation

基本的な使い方

# 音声ファイルを文字起こし
insanely-fast-whisper --file-name <ファイルパスまたはURL>

# Macの場合はデバイス指定が必要
insanely-fast-whisper --file-name <ファイル名> --device-id mps

# Flash Attention 2で高速化
insanely-fast-whisper --file-name <ファイル名> --flash True