30言語対応・声も自由にデザインできるAI音声合成の最前線 — VoxCPM

アーキテクチャ・仕組み

VoxCPM2は**トークナイザーフリー（tokenizer-free）のアプローチを採用しています。従来のTTSモデルが音声を離散的なトークンに変換してから処理するのに対し、VoxCPM2は拡散オートリグレッシブ（diffusion autoregressive）**パラダイムにより、AudioVAE V2の潜在空間上で直接連続的な音声表現を生成します。

4段階のパイプライン構成:

• LocEnc → TSLM → RALM → LocDiT

バックボーンにはMiniCPM-4（言語モデル基盤）を採用しています。

モデルバージョン比較

パフォーマンス・ベンチマーク

• RTF（リアルタイムファクター）: NVIDIA RTX 4090で約0.30、Nano-vLLM加速時は約0.13
• Seed-TTS-eval: 英語WER 1.84%、中国語CER 0.97%、SIM（話者類似度）75.3%〜79.5%でオープンソースモデルトップクラス
• 30言語内部ベンチマーク: 平均エラー率1.68%（Gemini 3.1 Flash Lite APIによる評価）
• ボイスデザイン評価（InstructTTSEval）: 英語でAPS 84.2%、DSD 83.2%と最高水準

音声出力の特徴

• AudioVAE V2の非対称エンコード/デコード設計により、16kHz参照音声入力から48kHz出力を直接生成
• 内蔵超解像処理により外部アップサンプラー不要
• LMトークンレートは6.25Hz

対応環境

• Python: 3.10以上、3.13未満
• PyTorch: 2.5.0以上
• CUDA: 12.0以上
• VRAM: 約8GB（VoxCPM2）

ファインチューニング

• SFT（フル微調整） と LoRA（軽量微調整） の両方をサポート
• わずか5〜10分の音声データで特定の話者・言語・ドメインに適応可能
• WebUIによるトレーニング＆推論インターフェースも提供

本番デプロイメント

Nano-vLLM-VoxCPMによる高スループットサービングに対応:

• バッチ並行リクエスト処理
• FastAPI HTTPサーバー
• RTF約0.13（RTX 4090）

エコシステム・連携

• VoxCPM.cpp: GGML/GGUF形式でCPU・CUDA・Vulkan推論
• VoxCPM-ONNX: ONNX形式でCPU推論
• VoxCPMANE: Apple Neural Engineバックエンド
• voxcpm_rs: Rustによる再実装
• ComfyUI-VoxCPM: ComfyUIノードベースワークフロー統合

対応言語（30言語）

アラビア語、ビルマ語、中国語、デンマーク語、オランダ語、英語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ヘブライ語、ヒンディー語、インドネシア語、イタリア語、日本語、クメール語、韓国語、ラオス語、マレー語、ノルウェー語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スワヒリ語、スウェーデン語、タガログ語、タイ語、トルコ語、ベトナム語

中国語方言: 四川語、広東語、呉語、東北語、河南語、陝西語、山東語、天津語、閩南語

ライセンス

Apache-2.0ライセンス — モデルの重みとコードの両方がオープンソースで、商用利用も無料で可能。

インストール手順

pip install voxcpm

動作要件: Python 3.10以上（3.13未満）、PyTorch 2.5.0以上、CUDA 12.0以上

基本的な音声生成

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained(
  "openbmb/VoxCPM2",
  load_denoiser=False,
)

wav = model.generate(
    text="VoxCPM2で音声を生成しています。",
    cfg_value=2.0,
    inference_timesteps=10,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)

CLIでの音声生成

# ボイスデザイン（参照音声不要）
voxcpm design --text "テキストを入力" --output out.wav

# ボイスクローン（参照音声あり）
voxcpm clone --text "テキスト" --reference-audio voice.wav --output out.wav