Live2Dのキャラと声で話せる「デスクトップAIアシスタント」を作りました

Live2Dのキャラクターと、声や文字で会話できるWindows用のAIアシスタント「デスクトップAIアシスタント」を作りました。Claude Code(Sonnet 5)で作っています。

この記事では、作ったきっかけと、できること、導入の流れを紹介します。導入に手間がかかることと、GPUがほぼ必須であることも先にお伝えしておきます。

作ったきっかけ

作ろうと思った理由は、次の3つです。

• Live2Dのキャラクターを動かして、話してみたかったから
• 純粋にアシスタントとして使えそうだったから
• Irodori-TTSが思った以上に自然な声で、これを活かしたいと思ったから

「デスクトップAIアシスタント」でできること

パソコンの画面にLive2Dのキャラクターが現れ、話しかけると、AIが答えてくれます。返事は音声で読み上げられ、キャラクターは会話に合わせて表情を変えます。

• 声または文字で会話できます
• 「今日の天気は?」「〇〇を調べて」といった調べものに、Web検索と天気予報を使って答えます
• 「覚えておいて」と頼んだことを、次回以降の会話でも活かします
• 「15分後に教えて」と頼むと、時間になったときにキャラクターから声をかけます
• 調べた内容を、Word / Excel / テキストにまとめて保存できます
• 「メモ帳を開いて」と頼むと、確認してからアプリを開きます。開けるのは登録したアプリと、許可したフォルダだけです
• 「この画面見て」と頼んだときだけ、画面を撮影してAIに見せて答えます

キャラクターは、お手持ちのLive2Dモデルに差し替えられます。初期状態で表示されるのは、Live2D社のサンプルモデルです。名前や性格の設定も変えられます。

実際の画面

記事の最初の画像が、起動した直後の画面です。左側に会話の履歴、右側にキャラクター、右下に文字の入力欄があります。入力欄の左には、マイクのボタン(緑)と、話を止めるボタン(黄色い手)が並んでいます。

次の画像は、時刻と天気を聞いたときの画面です。「今、何時? それと、東京の明日の天気も教えて。」と入力すると、会話の履歴に「get_current_time」と「get_weather」というツールを使った表示が出て、時刻と天気予報を答えてくれました。

「京都の観光地を3つ、表にしてExcelで保存して。」と頼んだときの画面です。「save_excel」というツールを使い、「Excelに保存したよ」と返事をしています。この前の会話では、好きな食べ物を覚えてもらう「remember」というツールも使っています。

「メモ帳を開いて。」と頼んだときの画面です。すぐには開かず、「メモ帳を開くね、いい?」と確認する返事が出ました。

仕組み

いくつかのオープンソースを組み合わせています。

役割	使っているもの	処理する場所
会話	Google Gemini(OpenAIのGPTにも切り替え可)	インターネット(APIキーが必要)
音声認識	faster-whisper	このパソコン
音声合成	Irodori-TTS	このパソコン
キャラクター表示	Open-LLM-VTuber + Live2D	このパソコン

音声認識と音声合成はパソコンの中で動くので、音声についての従量課金はありません。会話に使うGeminiだけが、APIキーの契約に応じた料金の対象になり得ます。料金や無料枠は Google 側で変わるため、最新の条件は Google のページで確認してください。

導入が面倒なところ

正直に言うと、このツールは導入が面倒です。「ダブルクリックで動く」タイプのソフトではありません。

• 事前に Git と uv というソフトを入れる必要があります
• Google AI Studio で、Gemini APIキーを取得する必要があります
• setup.bat を実行すると、モデル本体などを数GB分ダウンロードします。所要時間は30分前後で、回線が遅いと1時間以上かかることもあります
• 空き容量は25GB以上が必要です(実際の使用量は約15GB)

配布するzipは約1.1MBと小さいです。これは、大きなモデル本体をzipに入れず、セットアップの中でダウンロードする作りにしているためです。

手順は、zipの中の 手順書.html に、上から順に進めれば使えるように書いてあります。

GPUがほぼ必須です

音声合成の速さは、GPUがあるかどうかで大きく変わります。同梱の説明書では、次のように書いています。

環境	音声が出るまでの目安
NVIDIA GeForce RTX 5070(VRAM 12GB)	1文あたり約1.5秒
GPUなし(CPU)	1文あたり約50秒

CPUだけでも動きますが、会話にはかなり厳しい待ち時間です。NVIDIA GeForce を強く推奨します。

GeForce RTX 5070 で使っている手元の環境では、返答が2〜3秒程度で返ってくるので、レスポンスは良好です。

動作確認の状況

確認できていることと、まだ確認できていないことを分けて書いておきます。詳しくは同梱の説明書にもあります。

確認済み

• セットアップから起動まで(NVIDIA GPU)
• Live2Dキャラクターの表示と、表情の変化
• 文字での会話
• 音声合成(GPUで、1文あたり約1.5秒)
• 時刻・Web検索・天気・記憶・タイマー・Excel保存

一部だけ確認

• 音声認識は、モデルの読み込みとGPUでの文字起こしまで確認しました。マイクを使った会話そのものは未確認です
• PC操作は、「〇〇を開いていい?」と確認するところまで確認しました。実際にアプリを起動する動作は未確認です
• 画面を見る機能と、Word / テキストの保存は、起動と接続だけ確認しました

未確認

• デスクトップの前面にキャラクターだけを表示する Pet Mode
• 自分のLive2Dモデルに差し替えたときの表示(登録用のスクリプトは確認済みです)

使うときの注意

データの送り先

会話の内容と、頼んだときの画面の画像は、Google(Gemini)に送られます。検索キーワードは DuckDuckGo、天気の地名は Open-Meteo に送られます。マイクの音声そのものはパソコンの外に送られず、文字に変換された内容がAIに送られます。

パスワードやメールなどが画面に映っているときは、「この画面見て」と頼まないでください。会話でも、パスワードや個人情報は話さないようにしてください。

APIキーの扱い

APIキーは、展開したフォルダの中の Open-LLM-VTuber\conf.yaml と、そのバックアップに保存されます。フォルダごと誰かに渡すときは、先にこれらのファイルを削除してください。

初期表示のLive2Dモデルについて、Live2D社の規約で決められている表示は次のとおりです。

This content uses sample data owned and copyrighted by Live2D Inc. The sample data are utilized in accordance with terms and conditions set by Live2D Inc. This content itself is created at the author’s sole discretion.

ダウンロード

「デスクトップAIアシスタント」は無料で使えます。このソフト自身のスクリプトとドキュメントは MIT License で、組み合わせているオープンソースとLive2Dサンプルデータのライセンス表示も、zipに同梱しています。

ツールのページの「ダウンロード」ボタンから、GitHub の配布ページを開けます。Assets の中の ai-desktop-assistant-v1.0.0.zip を保存してください。ソースコードは GitHub でも公開しています。