bitnet.cppは、Microsoftが公開している1bit LLM(BitNet b1.58)専用の公式推論エンジンだ。「BitNetとは」で検索して来た読者に先に言っておくと、BitNetはモデルの方式、bitnet.cppはそれを動かすソフトで、別のものを指す。この記事はbitnet.cppを実際に動かす側から整理する。LLM全般は LLMとは?仕組み・主要モデル比較・ローカル実行・量子化を一気にまとめる2026年版 を参照。

ENGINE VS MODELBitNetは2つに分かれる

cloneして手に入るのはエンジンだけ。モデルは別に取る

bitnet.cpp

microsoft/BitNet の中身(動かす側)

  • 推論エンジン(llama.cpp と同じ立ち位置)
  • カーネル I2_S / TL1 / TL2、GPU カーネル
  • 単体ではモデルを持たない

BitNet b1.58

重みを {-1, 0, +1} にしたモデル(動かされる側)

  • Hugging Face から別途ダウンロード
  • 公式は 2B-4T(2.4B)と埋め込み 2 種
  • 手元の Llama / Mistral は対象外
出典: microsoft/BitNet README(2026-11-04時点)

30秒でわかるbitnet.cpp

  • ・何ができる:重みを{-1, 0, +1}の三値(約1.58ビット)にした1bit LLMを、CPUとGPUで動かす。READMEは100BのBitNet b1.58モデルを単一CPUで毎秒5〜7トークンと公称している。
  • ・何を解決する:GPUがない環境でもLLMを動かす。READMEはARMで1.37〜5.07倍、x86で2.37〜6.17倍の速度向上、エネルギー消費は55.4〜82.2%減と公称している。
  • ・何を代替する:CPUでの低ビット量子化推論(llama.cppのQ4など)の一部。ただし動かせるのは1.58bitで学習されたモデルだけで、手元のLlamaやMistralは動かせない。
  • ・GitHubスター約41,500・フォーク約3,900(2026年11月4日時点)。ライセンスはMIT。

bitnet.cppとBitNet b1.58、1bit LLMの違い

「BitNet」という語は3つの別のものを指す。検索で混乱しやすいので表に分ける。

名前 正体 立ち位置
bitnet.cpp 推論エンジン。リポジトリ microsoft/BitNet の中身 llama.cppと同じ。モデルを動かす側
BitNet b1.58 重みを{-1, 0, +1}にしたモデルの方式と学習済みモデル Hugging Faceから取得する動かされる側
BitNet a4.8 / v2 活性化を4ビットにする研究(a4.8)と、Hadamard変換で4bit活性化を扱う後継研究(v2) 論文の話題。bitnet.cppへの統合は2026年11月時点でREADMEに記載なし

Hugging Face
BitNet b1.58 モデル

bitnet.cpp
推論エンジン

CPU / GPU で
テキスト生成

「1bit LLM」「1-bit LLM」で探している場合、実際に動かせる実装の入口がbitnet.cppになる。厳密には初代BitNetが二値{-1, +1}、b1.58が三値で、三値だと情報量はlog2(3)≈1.58ビットになる。「BitNet 2B4T」はモデル名 BitNet-b1.58-2B-4T(2.4Bパラメータ・4兆トークンで学習)の略だ。

READMEはモデル一覧の直後で「既存のHugging Face上の1bit LLMを使って推論能力を示している」と書く。つまりcloneしただけでは動かず、別途モデルを取る。「cloneしたのに動かない」の多くはここが原因になる。

bitnet.cppをCPUで動かす手順

手順に入る前に、READMEにはAzure上の公式オンラインデモへのリンクがあり、ビルドなしでBitNet-b1.58-2B-4Tの応答を確かめられる。自分のCPUで動かす場合の要件は Python 3.10以上・CMake 3.22以上・Clang 18以上で、condaが推奨されている。WindowsはVisual Studio 2022の開発者用コマンドプロンプト(またはPowerShell)から実行する。

HOW IT RUNS推論の通り道

環境に合うカーネルを選び、乗算を加減算で済ませる

  1. 1.58bit モデル(GGUF)

    setup_env.py で I2_S / TL1 / TL2 を指定して変換・ビルド

  2. カーネルを選ぶ

    I2_S は x86・ARM 共通、TL1 は ARM、TL2 は x86 向け

  3. 三値の行列積

    重みが -1・0・+1 なので足す・引く・飛ばすで計算が終わる

  4. トークンを出力

    run_inference.py の -cnv で会話モード

出典: microsoft/BitNet README・src/README.md
git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
conda create -n bitnet-cpp python=3.10
conda activate bitnet-cpp
pip install -r requirements.txt

次にモデルを取得してビルドする。

huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

ビルドが済んだら会話モードで動かす。

python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "You are a helpful assistant" -cnv

-n(生成トークン数)・-t(スレッド数)・-temp(温度)はllama.cppと同じ感覚で使える。-p には日本語も渡せるが、日本語の品質はこの記事では検証していない。

つまずきやすい点

  • ・setup_env.py の --hf-repo で選べるのはBitNet-b1.58-2B-4T、bitnet_b1_58-large/3B、Llama3-8B-1.58、Falcon3/Falcon-Eの1.58bit版など。手元のLlama 3やMistralは渡しても動かない。
  • ・Windowsで clang -v が認識されないときは、開発者シェルで開き直してからビルドする。公式FAQに手順がある。
  • ・本記事の手順は公式README準拠で、当サイトでのビルド・実行は未検証。

bitnet.cppの速度は?公式ベンチマークの読み方

数字はすべてREADMEの公称値で、当サイトでの再計測ではない。

OFFICIAL NUMBERS公式の実測レンジ

x86 で最大6.17倍・消費エネルギーは最大82.2%減

6.17倍

x86 CPU の速度向上(最大)

下限は 2.37 倍

5.07倍

ARM CPU の速度向上(最大)

下限は 1.37 倍

82.2%

x86 のエネルギー削減(最大)

ARM は 55.4〜70.0%

出典: microsoft/BitNet README 公称値(2026-11-04時点)。当サイトでの再計測はしていない
実行環境 速度向上 エネルギー削減
ARM CPU 1.37〜5.07倍 55.4〜70.0%
x86 CPU 2.37〜6.17倍 71.9〜82.2%

READMEは、モデルが大きいほど向上幅が大きいと述べる。比較対象はフルプレシジョンのモデルで、llama.cppのQ4と比べた数字ではない点に注意したい。100Bモデルを単一CPUで毎秒5〜7トークンという数字は、技術レポート(arXiv:2410.16144)に基づく公称だ。

追加の最適化も2つある。2026年1月の並列カーネルとタイリング調整で、元の実装より追加で1.15〜2.1倍(src/README.md)。2026年7月公開の埋め込みモデルは、x86・8スレッドのprefillでF16比、0.6Bが1.42〜2.28倍、270Mが1.32〜1.74倍だ。

bitnet.cppのARMとx86での速度とエネルギー効率の公式ベンチマーク図
出典: microsoft/BitNet 公式README「performance.png」

3種のカーネルと三値演算の仕組み

bitnet.cppのカーネルは3種類ある。

x86 CPU

I2_S(共通)/TL2

ARM CPU

I2_S(共通)/TL1

三値の行列積
足す・引く・飛ばす

カーネル 対応 特徴
I2_S x86・ARM共通 汎用。上のクイックスタートで指定したもの
TL1 ARM向け ルックアップテーブル方式
TL2 x86向け ルックアップテーブル方式

setup_env.py の -q で選べるのはREADME記載で i2_s と tl1。TL2は対応表上のx86向けカーネルとして載っている。

重みが{-1, 0, +1}に限られるので、行列積の乗算が「足す・引く・飛ばす」で済む。この単純さが、GPUのテンソルコアに頼らないCPU推論の速さにつながる。2025年5月にはGPU推論カーネル(gpu/README.md)も加わり、READMEは次の対応先としてNPUを挙げている。

土台の論文は、BitNet(2023年・arXiv:2310.11453)、BitNet b1.58(2024年・arXiv:2402.17764)、bitnet.cppのシステム論文(2025年2月・arXiv:2502.11880)の3本だ。

bitnet.cppとGPTQ・AWQ・llama.cppの比較

選ぶ基準は「どのモデルを動かしたいか」と「GPUが使えるか」の2点になる。

項目 bitnet.cpp GPTQ / AWQ llama.cpp(Q4など)
量子化 1.58ビット(専用に学習) 4ビット(後から量子化) Q2〜Q8を選べる
動かせるモデル 1.58bit版の限られたモデル 多数 多数
主な実行環境 CPU、2025年5月からGPUも 主にGPU CPU・GPU
セットアップ CMakeとClangでのビルドが必要 比較的簡単 比較的簡単
向く場面 GPUなし、省電力、1.58bitモデルを使う 既存モデルをGPUで速く 汎用、量子化レベルを選びたい

bitnet.cppを選ぶのは、1.58bitモデル(BitNet-b1.58-2B-4Tなど)をCPUで動かす前提がある場合だ。手持ちのLlamaを小さくしたいだけなら、GPTQやllama.cppのほうが現実的になる。速度・メモリの優劣は、モデルとハードを揃えた実測でしか言えず、この表では断定していない。

動かせるモデル

BitNet-b1.58-2B-4Tのベンチマーク結果グラフ
出典: microsoft/BitNet 公式README「bitnet_b1.58_2b_benchmark.png」
モデル パラメータ 提供元
BitNet-b1.58-2B-4T 2.4B Microsoft公式。4兆トークンで学習、チャット対応
BitNet-embedding-0.6B/270M 0.6B/270M Microsoft公式(2026年7月)。1bit埋め込み、2ビット/重み
bitnet_b1_58-large/3B 0.7B/3.3B コミュニティ(1bitLLM)
Llama3-8B-1.58 8.0B コミュニティ(HF1BitLLM)
Falcon3/Falcon-E 1B〜10B コミュニティ(TII)

bitnet.cppが向く用途と向かない用途

はい

いいえ

はい

いいえ

1.58bitモデルを使う?

GPUなし・省電力?

llama.cpp / GPTQ / AWQ

bitnet.cpp

向く用途:GPUを置けない環境、ネットワークに出せない社内サーバー、電力に余裕のないエッジ機器、そして1bit量子化の研究。2026年7月には同じI2_S量子化でCPU上のリアルタイム音声認識エンジンVibeASR.cppも公開され、READMEによればx86(AVX2)とARM(NEON)でRTF 1未満を少ないスレッド数で達成した。検索やRAGの前処理に使う埋め込みをCPUで回す用途にも、BitNet-embeddingが加わった。

向かない用途:既存のLlama・Mistralをそのまま小さくしたい場合、モデルの選択肢を重視する場合、ビルド環境を整えたくない場合。READMEのニュース欄は2026年7月23日のVibeASR.cpp公開が最新で、2026年11月4日時点でそれ以降の追加はない。対応モデルの拡大とNPU対応が今後の焦点だ。

GPUの高速化を別の手法で狙うならDFlash × vLLM の使い方|投機的デコーディングを最大6倍にするブロック拡散ドラフト、複数台のCPUをつなぐならDistributed Llama:家庭用デバイスを繋ぐだけでLLMローカル実行を高速化する分散フレームワークが使い分けの対象になる。GUIで一式を動かすならClaraVerse:LLMローカル実行対応のプライバシー重視プライベートAIプラットフォーム完全ガイドもある。

この記事の結論

  • ・bitnet.cppは1.58bitモデル専用のエンジン。モデルは別に取る。
  • ・速度・省エネの数字はREADMEの公称。環境で必ず自分で測る。
  • ・手持ちのモデルを使うなら、GPTQ・AWQ・llama.cppが先。

参照ソース