AIモデルの実行も学習もこれ1つ！最大2倍速・VRAM70%削減のローカルAI統合環境 — unsloth

アーキテクチャ・仕組み

Unslothは2つの構成要素からなります：

• Unsloth Studio：ブラウザベースのWeb UIで、モデルの検索・ダウンロード・チャット・学習・エクスポートを統合的に行える
• Unsloth Core：Pythonコードから直接利用するライブラリ版。Hugging Faceのtransformers/TRLライブラリと連携

内部では独自のTritonカーネル（RoPE・MLP用）やPadding Free + Packing技術を使い、学習を最大3倍高速化しています。推論にはllama.cppを活用しています。

対応環境・プラットフォーム

• OS: Windows、Linux、WSL、macOS
• GPU: NVIDIA RTX 30/40/50シリーズ、Blackwell（B200等）、DGX Spark/Station
• AMD GPU: チャットは動作、学習はUnsloth Core経由で対応
• macOS（Apple Silicon）: チャットとData Recipesが利用可能。MLXによる学習は近日対応予定
• CPU: チャットとData Recipesで利用可能
• Python: 3.13推奨（uvパッケージマネージャー使用）
• Docker: unsloth/unsloth 公式イメージあり
• マルチGPU: 対応済み、大規模アップグレード予定

パフォーマンス・ベンチマーク

• 80GB GPUで20Bモデルの50万トークンコンテキスト学習が可能
• 通常の7倍長いコンテキストでの強化学習（RL）を実現

主要な機能一覧

推論機能

• GGUF / LoRAアダプター / safetensors形式のモデル検索・ダウンロード・実行
• GGUF / 16-bit safetensors等へのモデルエクスポート
• 自己修復型ツールコーリング・Web検索
• コード実行（Claude artifacts風のサンドボックス環境）
• 推論パラメータの自動チューニング
• 画像・音声・PDF・DOCX等のファイルアップロードによるチャット

学習機能

• フルファインチューニング、事前学習、4-bit / 16-bit / FP8学習
• リアルタイムのロス監視・GPU使用量トラッキング
• Data Recipes：PDF/CSV/DOCXからデータセットを自動生成、ビジュアルノードワークフロー
• 強化学習（GRPO等）：VRAM80%削減、FP8 RL、Vision RL対応
• テキスト・音声（TTS）・埋め込み・画像認識モデルの学習

対応モデル

500以上のモデルに対応。主要なもの：

• Qwen3.5（0.8B〜112B）、DeepSeek、gpt-oss（OpenAI）、Gemma 3、Llama 3.1/3.2、Mistral Ministral、Orpheus-TTS など

ライセンス

• Unsloth Core: Apache 2.0（商用利用可能）
• Unsloth Studio UI: AGPL-3.0（オープンソースだが、商用利用時はAGPLの条件に注意）

デュアルライセンスモデルにより、コアライブラリは自由に商用利用でき、UI部分はAGPLで公開されています。

連携・依存ライブラリ

• llama.cpp（推論・モデル保存）
• Hugging Face transformers / TRL
• PyTorch / Torch AO
• NVIDIA NeMo DataDesigner
• uvパッケージマネージャー（インストール推奨）

Unsloth Studio（Web UI）のインストール

macOS / Linux / WSL:

curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/main/install.sh | sh

起動:

source unsloth_studio/bin/activate
unsloth studio -H 0.0.0.0 -p 8888

Windows (PowerShell):

irm https://raw.githubusercontent.com/unslothai/unsloth/main/install.ps1 | iex

起動:

& .\unsloth_studio\Scripts\unsloth.exe studio -H 0.0.0.0 -p 8888

Docker:

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Unsloth Core（コードベース）のインストール

Linux / WSL:

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv unsloth_env --python 3.13
source unsloth_env/bin/activate
uv pip install unsloth --torch-backend=auto