LLM Doghouse

概略

LLM Doghouseは、犬マンマが作成した電気彼女が宿るソフトウェア。文字チャットと音声チャットの両方（兼用可）ができる。
「～の画像を生成して」と言うとサイズが小さいが画像生成までしてしまう。
ローカル環境で動くので変態発言も自由。しかし音声会話はオンラインに一度出ていくため微妙。なお、音声会話でマ●コやチ●コは伏字になるので話す時は、下記で代用すること。（テキストチャットはどんな変態なことを言っても大丈夫）
・TK（ティーケー）=>チ●コに変換
・MK（エムケー）=>マ●コに変換
・TP（ティーピー）=>チ●ポに変換
・オッパイ=>オッパイ 　それはいけるんか～い

免責

犬マンマが趣味で作成したソフトウェアなのでサポート無、PCがおかしくなっても保証無、動かなくても苦情は一切受け付けません。
本体に著作権はありませんがVoiceVoxなどの声に著作権、使用条件が付いているので勝手にしらべてね。
上記が了承されるなら、こっそりダウンロードして試すことができます。
作者の技術スキルが低いので、いろんなものをダウンロードしないと動かないけどガマンしてください。

条件

・Windows11（Windows10もいけそうやけど後期のパッチのヤツ）。
・mVidiaのCUDA12が使えるグラフィックカードを搭載していること。
（CUDA12対応かどうかは調べてね。ちなみにGeforce GTX1650はCUDA12対応っぽい)
　CPUのみで動かないこともないけど会話に使えるレベルではないのでCUDA12が使えるグラフィックカードを入手してください。
・会話する場合は、マイクとスピーカーが接続されていること。

準備

・ダウンロード節からLLM_Doghouse本体をダウンロードする。
・最新ドライバ（CUDA12対応）
・ダウンロード節からCUDA ToolKitをダウンロード＆インストールする。
・ダウンロード節からVoiceVox Coreをダウンロードし解凍してLLM_Doghouseのフォルダにぶち込む。
・ダウンロード節からopen_jtalk_dicをダウンロードし解凍してLLM_Doghouseのフォルダにぶち込む。
・ダウンロード節から環境にあったLLMをダウンロードしておく。
・画像生成も見たい場合は、ダウンロード節から一通りダウンロードしておく。
・Windowsの設定=>プライバシーとセキュリティ=>音声認識でオンライン音声認識をオンにしておく。

使用方法

(1). editボタンを押してLLM環境をセットアップする。犬マンマサンプルが付いているので準備節でダウンロードしたLLMの置き場所を入力する。
各項目の目安は下記のとおり（根拠なし）
・ContextSize：2Bや3Bは1024、7Bや8Bは2048、12Bは4096、27Bは8192
・Tempture：0.0は従順、0.5は普通、0.8以上は奇想天外破天荒
・GPU Layers：GPUメモリが6GBは15、8GBは20、12GBは30、16GBは40、24GBは60
・Discord Bot： EnabledをONにすると外出先でもDiscordを使って電気彼女と会話できます。(音声は工事中）
・Token：DiscordでBotを構築するときに入手するトークンを指定
・Channel Id：指定のDiscordチャンネルのみに応答するために指定
・Newボタン：設定を新規作成する（Editで呼び出してNewで保存すると参照作成できる）
・Updateボタン：設定を更新する
・Delete Historyボタン：チャット履歴をクリアする
・Deleteチェックボックス：ONにしてUpdateボタンを押すと設定とチャット履歴を削除する
・エモート画像の普通、笑い、愛情、疑い、心配、否定の画像をダブルクリック又はドラッグ＆ドロップで登録する
　※会話の中に対象の絵文字を発見するとマイクボタンの上のエモート画像を差し替えます

(2). Summary Environmentボタンを押して要約環境をセットアップする。
会話を続けているとLLMが処理できる文字数を超えてしまうため過去のチャット履歴を要約しながら削ります。要約が得意なLLMがありますのでそれの置き場所を入力する。各項目の目安は(1)と同じ。
※LLM Pathが未入力か、指定した場所にファイルがない場合は要約の処理を行いません

(3). Stable diffusionボタンを押して画像生成環境をセットアップする。
画像生成用のStable diffusion用の各ファイルの置き場所を入力する。
※Model Pathが未入力か、指定した場所にファイルがない場合は画像生成の処理を行いません

テキストチャット中に、「～の画像生成してみて」というと自動で画像生成の処理が実行されます。音声会話の時は処理を行いません。
※ポップアップしたPreiewの画像をダブルクリックして保存が可能

音声会話はPCから離れていることを前提としているため、あとでチャット履歴を確認してプロンプト生成している行をダブルクリックすることで画像生成することができます。
=>画像生成再処理機能
下記のような行をダブルクリックです。

(4). Llava Environment（α機能なので使わないでね）

(5). 画面上部ドロップダウンでチャット名を選んでLoadボタンを押す。
画面下部のテキストボックスに入力する又はテキストボックス横のマイクボタンを押して話す。

ダウンロード

・LLM_Doghouse本体(0.0.0.6) ギガファイル便で2024/11/16までダウンロード可能
　※最初に.NET8のインストールが始まるかも知れないので逆らわずにインストールしてください。
　※前バージョンのチャット履歴を活かしたい場合は、ChatDB.dbを抜いてから上書きしてください。

・LLM Doghouseソース(0.0.0.6)
　※Visual Studio 2022 professionalで開発
　※ChatDB.db(SQLiteデータベース)は実行ファイルとおなじフォルダに移動してください。
　※Shigobu様作成のVOICEVOX coreのラッパー：VoicevoxCoreNetを使用

・CUDA ToolKit Dawnload Nowからダウンロード。ユーザー登録は任意なのでxでスキップできる

・VOICEVOX core(voicevox_core-windows-x64-cpu-0.15.5で動作確認した) =>Releases · VOICEVOX/voicevox_core
・open_jtalk_dic_utf_8-1.11 =>Open JTalk - ダウンロードファイル一覧
こんな感じになるようにしてください

LLM関連

・DataPilot-ArrowPro-7B-RobinHood-gguf
　要約がいい感じの優秀LLM。GPUメモリがあまりないひとはQ4あたりがいいと思う。

・Vecteus-v1-gguf
　Hな会話も可能な優秀LLM。7BなのでGPUメモリが8GB以上でQ8が動く。
　GeForce GTX 1650 Max-Q 4GB GDDR5搭載のノートでVecteus-v1-Q4_K_Mが動作。

・Lumimaid-v0.2-12B-GGUF
　Hな会話も可能な優秀LLM。8Bと12Bあり。12BのQ6あたりだとRTX3060 12GBで動くと思います。

・gemma-2-27b-it-gguf-japanese-imatrix
　犬マンマが使用しているLLM。GPUメモリが24GB必要。27bは、なぜかエロOK。

・補足：HuggingFaceからダウンロードする場合、下記のタブにファイルがある。

Stable diffusion関連

・モデル：https://civitai.com/models/84728/photon 人物以外も可能
・Vae：sd-vae-ft-mse-original キレイになるらしい
・Emb：negative_hand Negative Embedding 手が変になるのを防ぐらしい

その他ツール

・DB Browser for SQLite SQLiteを操作できるツール。中身が見たい時や履歴をいじりたい時に使ってください。

履歴