AIの「考える力」を爆速で鍛える！完全非同期の強化学習システム — AReaL

アーキテクチャ・仕組み

AReaLは完全非同期の強化学習トレーニングシステムで、オープンソースプロジェクトReaLHFをベースに構築されています。同期型と比較して2.77倍のスピードアップを達成しつつ、同等以上のトレーニング性能を維持します。非同期モードはmax_head_offpolicyness=0を設定することで同期モードに切り替え可能です。

対応アルゴリズム

• GRPO, GSPO, PPO, DAPO, LitePPO, Dr.GRPO, REINFORCE++, RLOO, SAPO, M2PO
• RLHF報酬モデリング（Bradley-Terryモデル）
• SFT（教師あり微調整）, 蒸留（Distillation）
• すべてのRLアルゴリズムは非同期・同期両方に対応

対応モデル

トレーニングバックエンド

• Megatron: ZeRO-1、テンソル並列、シーケンス並列、コンテキスト並列、パイプライン並列、エキスパート並列、シーケンスパッキング対応
• PyTorch FSDP: FSDP2、テンソル並列、LoRA対応
• PyTorch Archon: FSDP2ベースでパイプライン並列・エキスパート並列も対応

推論バックエンド

• vLLM: テンソル並列、パイプライン並列対応
• SGLang: テンソル並列、Data Parallel Attention、エキスパート並列対応

主要な機能・ユースケース

• 数学推論: GSM8Kなどのベンチマークで複数のRLアルゴリズムによるトレーニング
• マルチターン数学エージェント: ターン間の報酬割引に対応
• LoRA対応: パラメータ効率の良い軽量トレーニング
• エージェントRL: base_urlを差し替えるだけで任意のエージェントフレームワークと連携
• 検索エージェント（ASearcher）: エンドツーエンドの非同期RL訓練による検索AI
• カスタマーサービスエージェント（AReaL-SEA）: 235B MoEモデルでGPT-5超え、Gemini 3.0 Pro同等の性能
• VLM（視覚言語モデル）: 幾何学問題やCLEVRカウントなどの視覚推論
• Ascend NPU対応: Huawei NPUデバイスでの安定トレーニング

軽量版 AReaL-lite

コード量を80%削減しつつ、AReaLの90%のパフォーマンスと機能を維持する軽量版。アルゴリズム開発と素早いプロトタイピングに特化した設計。

クラウドデプロイ

• SkyPilotを使用したGCP、AWS、Kubernetesへのデプロイに対応

制約・注意点

• VLM（視覚言語モデル）はMegatronバックエンドに非対応
• LoRAはPyTorch FSDPバックエンドのみ対応
• SGLangはパイプライン並列・コンテキスト並列に非対応

ライセンス・開発体制

• 清華大学IIISとアントグループが共同開発
• 毎週マイナーリリース、毎月メジャーリリースの活発な開発サイクル
• HuggingFaceでモデルとデータを公開中
• 研究論文も公開済み（arXiv: 2505.24298）

# リポジトリをクローン（ダウンロード）する
git clone https://github.com/inclusionAI/AReaL
cd AReaL

# パッケージマネージャuvをインストールし、依存関係を同期
pip install uv
uv sync --extra cuda

データセット（openai/gsm8k）とモデル（Qwen/Qwen2-1.5B-Instruct）は自動ダウンロードされます。

# 単一ノード（1台のマシン）で実行
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

# Rayクラスタ（2ノード、各8GPU）で実行
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml \
  cluster.n_nodes=2 cluster.n_gpus_per_node=8 \
  scheduler.type=ray