「クラウドの音声アシスタントは便利だけど、話しかけた内容が全部サーバーに送られているのはどうも落ち着かない」——そんな人に向けて、Live2Dのアバターと声で会話できるAIコンパニオンを丸ごと自分のPCの中だけで動かせるのが Open-LLM-VTuber です。GitHubで約12,200スター(2026年7月時点)を集める、ローカルAIコンパニオンの代表格です。まずはデモ動画で「声で話しかけて、キャラが声で返す」様子を眺めてみてください。

Open-LLM-VTuberを実際に動かしたデモ。出典:Open LLM VTuber - Talk to Any LLM With Hands-Free Voice Locally(Fahd Mirza / YouTube)

VOICE ROUND TRIP声の往復

話しかけた声が、自分のPCの中だけで声になって返ってくる

  1. マイク

    あなたの声

  2. ASR

    音声を文字へ

  3. LLM

    人格に沿って応答を考える

  4. TTS

    文字を声へ

  5. Live2D

    口と表情を動かして発話

出典: Open-LLM-VTuber 公式README・ドキュメント。各段はローカルエンジンで構成できる

30秒でわかる Open-LLM-VTuber

  • ・Live2Dアバターと声で会話できる音声対話AIコンパニオンを、完全オフラインで動かせるOSS。ライセンスはMIT(同梱のLive2Dサンプルは別ライセンス)
  • ・仕組みはASR(音声→文字)→LLM(応答生成)→TTS(文字→音声)の3段。各段をローカル/クラウドのエンジンから選べる
  • ・割り込み会話、感情に応じた表情、カメラ/画面による視覚認識、デスクトップペット化まで揃う
  • ・設定は conf.yaml の編集だけ。ただし環境構築には多少のターミナル操作がいる
  • ・長期記憶は一時的に無効化中、v2.0リライトも計画中の活発な開発段階

そもそもLLMという土台の全体像が曖昧な方は、先にLLMとは?仕組み・主要モデル比較・ローカル実行・量子化を一気にまとめる2026年版を読んでおくと、Open-LLM-VTuberが担う”対話の頭脳”の位置づけが掴みやすくなります。

Open-LLM-VTuberとは:完全オフラインで動く音声対話AIコンパニオン

Open-LLM-VTuberの実際の画面:右にConnected状態のLive2Dアバター、左にChat History、下部にCamera/Screen(視覚認識)ボタン、idleインジケータとマイク、画面共有バー
Open-LLM-VTuberの実際の画面。右にLive2Dアバター、左にChat History、下部にCamera/Screen(画面共有=視覚認識)とマイク。出典: 公式リポジトリ

Open-LLM-VTuberは、ローカルAIコンパニオン・デスクトップペット・音声アシスタントのどれにも当てはまるOSSです。Windows・macOS・Linuxのデスクトップに加えてWebブラウザでも動き、実装はほぼPythonです。名前が Open-LLM-VTuber なのは、公式READMEによれば当初の目標が「Windows以外でもオフラインで動くオープンソースで、クローズドなAI VTuber『neuro-sama』を再現すること」だったためで、最初から「表情と声を持ったキャラクター」を手元に置くことが発想の中心にありました。

解決するのは、クラウド前提のAIコンパニオンに付きまとう「預けきり」の不安です。話しかけた音声や会話履歴がクラウドに蓄積される、サービスの仕様変更・終了・値上げで相棒ごと失われる、見た目・人格・声を提供された枠の中でしか作り込めない、オフラインでは使えない——日常的に話しかける相手ほど、扱うデータは私的になります。従来ツールはこの一部しか解けません。

気にしていること クラウドのキャラチャット ローカルのTTS読み上げ Open-LLM-VTuber
プライバシー(会話が外に出ない) △ サーバー送信 ◎ 手元で完結 ◎ 完全オフライン可
アバターの表情・存在感 ◎ 表情豊か ✕ 声のみ ◎ Live2Dで表情変化
声での対話・割り込み ◎ 得意 △ 読み上げ中心 ◎ 割り込み会話可
見た目・人格・声の作り込み △ 枠の中のみ △ 声のみ ◎ 設定で自在
サービス終了リスク ✕ 依存 ◎ なし ◎ 手元に残る

プライバシー・表現力・自由度の3つを、ローカル完結という前提で同時に満たしたのがこのOSSの新しさです。「有料サービスを契約する」というより「自分のPCに相棒を1体住まわせる」感覚に近いと言えます。

Open-LLM-VTuberの主な機能:リアルタイム音声会話・視覚認識・アバター表情

機能 何ができるか どんな体験になるか
割り込み会話 AIの発話中でも話しかけると止まる 人間同士のような自然な往復
Live2D表情マッピング 応答内容に応じて表情が変化 喜び・驚き・困惑が動きで伝わる
完全オフライン動作 ASR/LLM/TTSをローカルで構成 ネットなしで会話が成立
デスクトップペットモード 背景透過+クリックスルーで常駐 作業画面の隅にキャラが居る
視覚認識 カメラ・画面・スクショをAIが見る 画面を見せて質問できる
チャットログ永続化 会話履歴を保存 あとから会話を続けられる
内なる思考の表示 発話しない考えを画面表示 キャラの内面が透けて見える
プロアクティブ発話 AI側から話しかける 待ちの相棒でなく能動的
TTS翻訳 別言語のチャットを別言語の声で 言語をまたぐ発話ができる

体験を左右するのは上位の機能です。割り込み会話は、ヘッドフォンなしでもAIが自分の声を拾って誤作動しないよう設計されています。視覚認識は、カメラ・画面録画・スクリーンショットを通じてAIが”見る”機能で、画面を見せて「これ何?」と聞けます。声のクローニングで好みの声を与えたり、人格プロンプトを書き換えて別キャラに仕立てたりも自由です。「割り込める」「見せられる」「表情がある」「常駐できる」の4つが揃うことで、AIはツールから相棒に近づきます。

長期記憶は一時的に無効化中

  • ・本記事の執筆時点では長期記憶(long-term memory)は取り外されており、公式には「近いうちに復活予定」とされています
  • ・チャットログの保存自体はできますが、セッションをまたいで過去の会話を深く踏まえた応答を今すぐ期待するのは早計です

Open-LLM-VTuberのインストールと基本操作(conf.yamlで設定)

新規インストールは、公式のQuick Startドキュメントに沿って進めるのが確実です。ASR・TTSのエンジンには個別の導入手順やモデルのダウンロードが要るものがあり、ここを飛ばすと起動時につまずきやすいためです。読者が覚えておくべきコマンドは2つだけです。

# v1.0.0以降のアップデート(プロジェクトディレクトリ内で実行)
uv run update.py
# バックエンドサーバーを起動する
python run_server.py

起動したら、ブラウザかデスクトップアプリで開くだけです。設定はコードではなく conf.yaml の編集だけで行います。

・頭脳を選ぶ:llm の項目でOllama(ローカル)やOpenAI・Claude(クラウド)などのプロバイダとモデル名を指定する
・耳を選ぶ:asr の項目でsherpa-onnxやFaster-Whisperなどの音声認識エンジンを指定する
・口を選ぶ:tts の項目でsherpa-onnxやMeloTTSなどの音声合成エンジンを指定する
・人格を与える:人格プロンプトを文章で書くと、キャラの口調や性格がそのとおりになる

プロバイダ名やモデル名を書き換えるだけで、頭脳も耳も口も差し替えられます。まず軽いローカルモデルで動作を確かめ、応答品質を上げたくなったらクラウドの大型モデルに変える、という調整がテキスト編集だけで済みます。キー名や構造はバージョンで変わり得るので、書き込む前に公式ドキュメントの最新形を確かめてください。

仕組み:ASR→LLM→TTSとエンジンの選び方

内部は、ASR(音声認識)→ LLM(応答生成)→ TTS(音声合成)が直列につながったパイプラインに、TTSと同期して口と表情を動かすLive2Dアバター描画が付いた構造です。処理の中心はバックエンドサーバーで、Webクライアント(ブラウザ)とデスクトップアプリ(通常のウィンドウモードと、背景透過で常駐するペットモード)がそのフロントになります。重い処理はバックエンドに集約されているので、下のデモのように最小スペックのVPSでもバックエンドが動けば体験が成立します。

最小スペックのVPS上でOpen-LLM-VTuberを動かすデモ。出典:Running Open-LLM-VTuber: Interactive AI Avatar on Minimum Spec VPS(Yaser Ali Husen / YouTube)

各段は疎結合で、「音声認識だけ精度を上げたい」「声だけ好みに変えたい」「頭脳だけクラウドの大型モデルにしたい」といった部分最適が conf.yaml の該当箇所の書き換えで済みます。音声認識・対話・音声合成・アバター制御を自分でつなぐ膨大な作業を肩代わりしてくれる、ということでもあります。音声合成のVibeVoiceのような単機能ツールを、上位の「対話体験」として束ねる枠組みだと捉えると分かりやすいでしょう。

LOCAL OR CLOUD段ごとに選ぶ

各段をローカルとクラウドで混ぜて組める

ローカルで固める

  • LLM: Ollama・LM Studio・vLLM・GGUF
  • ASR: sherpa-onnx・Faster-Whisper
  • TTS: MeloTTS・GPTSoVITS・CosyVoice

クラウドに任せる

  • LLM: OpenAI・Claude・Gemini・DeepSeek
  • ASR: Groq Whisper・Azure ASR
  • TTS: Edge TTS・Fish Audio・Azure TTS

支点は「プライバシーか、応答品質か」

出典: Open-LLM-VTuber 公式README。切り替えは conf.yaml の編集だけ

対応エンジンはこのほかにも多く、ASRはFunASR・Whisper.cpp、LLMはOpenAI互換API・Mistral・Zhipu AI、TTSはpyttsx3・Coqui-TTS・Barkなども選べます。現実的なのは、音声認識と音声合成はローカルでプライバシーを守り、頭脳だけクラウドの大型モデルで賢くする、といった中間解です。最初はすべてローカルで軽く動かし、物足りない段だけをクラウドに置き換えていけます。動画の字幕・翻訳まで含めて多言語を扱いたい人は、pyvideotransのような専用ツールと役割を分けて考えると整理しやすくなります。

MICROPHONEブラウザでマイクを使う

リモートから話しかけるなら、HTTPS が門になる

セキュアコンテキスト

  • HTTPlocalhost マイクが使える同じPCのブラウザ
  • HTTP別マシン マイクがブロックスマホ・別PC
  • HTTPSリバースプロキシ リモートでも使えるTLS を終端して内側は HTTP
ブラウザの仕様(セキュアコンテキスト)。出典: Open-LLM-VTuber 公式ドキュメント

Webクライアントでマイクを使うにはセキュアコンテキスト(HTTPS)が必要です。localhost ならHTTPでも許可されますが、別マシンやスマホからHTTPでアクセスするとマイクがブロックされます。リモートから使いたいなら、リバースプロキシでTLSを終端し、内側はHTTPでバックエンドにつなぐのが定石です。導入直後は、まず localhost で動作を確かめるのが近道です。

Open-LLM-VTuberの導入判断:向いている人・注意点(開発段階とv2.0)

向いているのは、音声アシスタントをクラウドに預けたくない人、見た目・人格・声を作り込みたいVTuber/キャラ制作者、AIアシスタントを土台からカスタマイズしたい開発者、デスクトップペットとして常駐させたい人、オフラインやネットワークが不安定な環境で使いたい人です。逆に、GPUやエンジンの環境構築を一切したくない、長期記憶が今すぐ必須、完成された安定プロダクトを求める、という場合は慎重に判断してください。

項目 現状(本記事執筆時点) 使う側の心構え
長期記憶 一時的に無効(復活予定) セッションをまたぐ記憶は当てにしない
チャットログ保存 対応 直近の会話は続きから再開できる
v1.0.0の変更 破壊的変更あり 旧版からはconf.yaml非互換で再デプロイ
v2.0 完全リライトを計画中 v1は新機能PR控えめ・バグ修正中心
ライセンス MIT(Live2Dサンプルは別ライセンス) 商用は同梱Live2Dモデルの扱いに注意

約12,200スター・フォーク約1,400を集めるプロジェクトで、コード本体はMITです。ただし同梱のサンプルLive2Dモデルは Live2D Free Material License の対象で、特に企業の商用利用では追加のライセンス確認が必要です。

2026-10-11 に実測で確かめ直した

2026-10-11 にリポジトリを clone して、更新状況と規模を測り直しました。

# ① 浅く clone する
git clone --depth 1 https://github.com/Open-LLM-VTuber/Open-LLM-VTuber /tmp/Open-LLM-VTuber

# ② 直近のコミット日を見る → 2026-05-15
git -C /tmp/Open-LLM-VTuber log -1 --format=%ad --date=short

# ③ 追跡ファイル数を見る → 254
git -C /tmp/Open-LLM-VTuber ls-files | wc -l
確認項目 2026-10-11 の実測 確認方法
直近コミット 2026-05-15(149日前) git log -1 --date=short
規模 追跡ファイル 254 本 git ls-files \| wc -l
ライセンス 未検証(このときの LICENSE 本文の読み取り結果は記録が壊れていた。READMEの記載はMIT) head -3 LICENSE* で読み直す

まずは公式のQuick Startに沿って python run_server.py で立ち上げ、軽いローカルモデルで一言話しかけてみてください。

参照ソース

・Open-LLM-VTuber/Open-LLM-VTuber(GitHub) — 本記事が 2026-10-11 に測り直した対象
・LICENSE — ライセンスの実体
・Open-LLM-VTuber 公式ドキュメント
・Open-LLM-VTuber Releases (GitHub)