普通のパソコンのCPUだけで大規模AIが動く！1ビットLLM専用の超省エネ推論エンジン — BitNet

アーキテクチャ・仕組み

• BitNetは llama.cpp フレームワークをベースに構築
• カーネル（計算処理の核心部分）は T-MAC のルックアップテーブル方式を活用
• 1.58ビット量子化（三値: {-1, 0, 1}）により、重みの格納と演算を極限まで効率化
• 並列カーネル実装、設定可能なタイリング、エンベディング量子化をサポート

対応環境・プラットフォーム

• CPU: x86（Intel/AMD）、ARM（Apple Silicon含む）
• GPU: 公式GPUカーネルも提供（別途 gpu/README.md 参照）
• NPU: 今後サポート予定
• OS: Windows（Visual Studio 2022必須）、Linux（Debian/Ubuntu等）、macOS
• 言語/ツール: Python 3.9以上、CMake 3.22以上、Clang 18以上

パフォーマンス・ベンチマーク

• 最新の並列カーネル最適化でさらに 1.15x 〜 2.1x の追加高速化
• 100Bパラメータモデルを単一CPUで5〜7トークン/秒（人間の読書速度相当）で実行可能

公式モデル・対応モデル

• 公式: BitNet-b1.58-2B-4T（2.4Bパラメータ）
• サードパーティ対応: bitnet_b1_58-large (0.7B)、bitnet_b1_58-3B (3.3B)、Llama3-8B-1.58 (8.0B)、Falcon3ファミリー (1B-10B)、Falcon-Eファミリー (1B-3B)

量子化タイプ（カーネル種別）

• I2_S: x86・ARM両対応（多くのモデルで利用可能）
• TL1: 主にARM向け
• TL2: 主にx86向け
• --quant-embd オプションでエンベディングをf16に量子化可能
• --use-pretuned で事前チューニング済みカーネルパラメータを使用可能

主要な機能一覧

• チャットモード（-cnv オプション）によるインタラクティブな対話
• .safetensors 形式からの変換ツール (convert-helper-bitnet.py)
• ダミーモデル生成によるベンチマークテスト
• スレッド数、コンテキストサイズ、温度パラメータなどの設定
• オンラインデモ（Azure上でホスト）

競合・類似ツールとの違い

• 一般的な低ビットLLM推論には T-MAC が推奨される（三値モデル以外の場合）
• llama.cppベースのため互換性が高いが、1ビットモデルに特化した専用カーネルで大幅な性能向上を実現

ライセンス

• MIT License（商用利用含め自由に利用可能）

関連論文

• BitNet: Scaling 1-bit Transformers (2023)
• The Era of 1-bit LLMs (2024)
• Fast and Lossless BitNet b1.58 Inference on CPUs (2024)
• BitNet a4.8: 4-bit Activations for 1-bit LLMs (2024)
• Bitnet.cpp: Efficient Edge Inference for Ternary LLMs (2025)

必要なもの

• Python 3.9以上
• CMake 3.22以上
• Clang 18以上
• conda（推奨）

ビルド手順

# 1. リポジトリをクローン
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

# 2. conda環境を作成して依存パッケージをインストール
conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp
pip install -r requirements.txt

# 3. モデルをダウンロードしてビルド
huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

推論の実行

python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv