リアルタイム音声会話AI — 声も性格も自在に操る全二重通話モデル — personaplex

アーキテクチャ・仕組み

• PersonaPlexは Moshi アーキテクチャをベースにファインチューニングされたモデル
• バックボーンのLLMとして Helium を使用しており、広範な学習コーパスにより訓練分布外のプロンプトにも対応可能
• テキストベースの役割プロンプト（ペルソナ制御）と音声ベースの声質条件付け（ボイスプロンプト）の2つの制御軸を持つ
• 合成会話データと実会話データ（Fisher English Corpus）の組み合わせで学習

モデル仕様

• モデルサイズ: 7B（70億パラメータ）
• 重みの公開先: Hugging Face (nvidia/personaplex-7b-v1)
• 全二重（Full Duplex）対応: 割り込み、相づち、スムーズなターンテイキングが可能

音声（ボイス）オプション

プリパッケージされた音声エンベディングが用意されている:

• NAT系はより自然で会話的な声、VAR系はより多様な声質

対応シナリオ

• QAアシスタント: 質問応答やアドバイス提供
• カスタマーサービス: レストラン、ゴミ収集サービス、ドローンレンタルなど多様な業種に対応
• カジュアル会話: 料理、キャリア、家族の話題など自由な雑談
• クリエイティブシナリオ: 宇宙船の原子炉修理相談など分布外プロンプトへの対応も可能

実行モード

• サーバーモード: WebUI経由でリアルタイム音声対話（SSL対応）
• オフラインモード: WAVファイルを入力して音声応答WAVとテキストJSONを出力
• CPUオフロード: GPUメモリが不足する場合、--cpu-offload フラグでモデルレイヤーをCPUに退避可能（accelerate パッケージが必要）
• CPU専用PyTorchでのオフライン評価も可能

評価ベンチマーク

FullDuplexBench の以下の評価カテゴリに対応するプロンプトが用意されている:

• User Interruption（ユーザーの割り込み）
• Pause Handling（間の取り方）
• Backchannel（相づち）
• Smooth Turn Taking（スムーズな発話交代）

ライセンス

• コード: MIT ライセンス
• モデル重み: NVIDIA Open Model ライセンス
• 商用利用についてはNVIDIA Open Modelライセンスの条項を確認が必要

インストール手順

1. Opusオーディオコーデックの開発ライブラリをインストール:

# Ubuntu/Debian
sudo apt install libopus-dev

# Fedora/RHEL
sudo dnf install opus-devel

1. リポジトリをダウンロードしてインストール:

pip install moshi/.

1. Blackwell GPU の場合は追加で:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu130

1. Hugging Faceでモデルライセンスを承認し、トークンを設定:

export HF_TOKEN=<YOUR_HUGGINGFACE_TOKEN>

1. サーバーを起動してブラウザでアクセス:

SSL_DIR=$(mktemp -d); python -m moshi.server --ssl "$SSL_DIR"

ブラウザで localhost:8998 にアクセスすると会話を開始できます。