LLM Doghouse

概略

LLM Doghouseは、犬マンマが作成した電気彼女が宿るソフトウェア。文字チャットと音声チャットの両方（兼用可）ができる。
「～の画像を生成して」と言うとサイズが小さいが画像生成までしてしまう。
ローカル環境で動くので変態発言も自由。しかし音声会話はオンラインに一度出ていくため微妙。なお、音声会話でマ●コやチ●コは伏字になるので話す時は、下記で代用すること。（テキストチャットはどんな変態なことを言っても大丈夫）
・TK（ティーケー）=>チ●コに変換
・MK（エムケー）=>マ●コに変換
・TP（ティーピー）=>チ●ポに変換
・オッパイ=>オッパイ 　それはいけるんか～い

免責

犬マンマが趣味で作成したソフトウェアなのでサポート無、PCがおかしくなっても保証無、動かなくても苦情は一切受け付けません。
本体に著作権はありませんがVoiceVoxなどの声に著作権、使用条件が付いているので勝手にしらべてね。
上記が了承されるなら、こっそりダウンロードして試すことができます。
作者の技術スキルが低いので、いろんなものをダウンロードしないと動かないけどガマンしてください。

条件

・Windows11（Windows10もいけそうやけど後期のパッチのヤツ）。
・mVidiaのCUDA12が使えるグラフィックカードを搭載していること。
（CUDA12対応かどうかは調べてね。ちなみにGeforce GTX1650はCUDA12対応っぽい)
　CPUのみで動かないこともないけど会話に使えるレベルではないのでCUDA12が使えるグラフィックカードを入手してください。
・会話する場合は、マイクとスピーカーが接続されていること。

準備

・ダウンロード節からLLM_Doghouse本体をダウンロードする。
・最新のグラフィックカードドライバ（CUDA12対応）
・ダウンロード節からCUDA ToolKitをダウンロード＆インストールする。
・ダウンロード節からVoiceVox Coreをダウンロードし解凍してLLM_Doghouseのフォルダにぶち込む。
・ダウンロード節からopen_jtalk_dicをダウンロードし解凍してLLM_Doghouseのフォルダにぶち込む。
・ダウンロード節から環境にあったLLMをダウンロードしておく。
・画像生成も見たい場合は、ダウンロード節から一通りダウンロードしておく。
・Windowsの設定=>プライバシーとセキュリティ=>音声認識でオンライン音声認識をオンにしておく。

各機能説明

１．初期画面
①チャット選択コンボボックス
②LLMロードボタン
③サイドメニューボタン
　スライドしてサイドメニューを表示します

２．LLMロードチャット画面
①エジェクトボタン
②チャット履歴ダブルクリックで音声再生or画像生成
・画像生成は256X256のおまけ程度です。
・チャット履歴に画像をドラッグ＆ドロップするとLlavaで画像が何かを判別します。
③チャット入力テキストボックス
④音声会話ボタン
⑤Discord Bot稼働アイコン
・Discord Botが稼働しているときに表示
⑥要約スタンバイアイコン
・要約環境が設定されていて要約が可能なときに表示
⑦画像生成スタンバイアイコン
・画像生成環境が設定されていて画像生成が可能なときに表示
⑧Llavaスタンバイアイコン
・Llava環境が設定されていて画像解析が可能なときに表示
⑨GPUメモリ使用状況
⑩音声会話キャスト名
⑪履歴削除ボタン

３．サイドメニュー+ライトモード画面
①チャット画面ボタン
②チャット設定画面ボタン
・４．チャット設定画面を表示
③システム設定画面ボタン
・５．システム設定画面を表示
④AIエモーション画像
・AIがチャット内にエモーションの絵文字を使ったときに表示
⑤画像生成プレビュー
・画像生成が正常に行われた時に表示。画像をクリックで保存が可能
⑥ダーク/ライトモード切替
・ダークモードとライトモードを切替する。※下記画像はライトモード
⑦プライマリーカラー選択
・19色の中から好きな色を選択可能　※下記画像はRed

４．チャット設定画面
①チャット連番
②チャット名
③システムプロンプト
④コンテキストサイズ
・ContextSize：2Bや3Bは1024、7Bや8Bは2048、12Bは4096、27Bは8192
⑤テンプチャ
・Tempture：0.0は従順、0.5は普通、0.8以上は奇想天外破天荒
⑥GPUレイヤー数
・GPU Layers：GPUメモリが6GBは15、8GBは20、12GBは30、16GBは40、24GBは60
⑦LLMモデルパス
・LLMのモデルをドラッグアンドドロップ可能
⑧LLMモデルファイルオープン
・LLMのモデルをファイルオープンダイアログから設定
⑨音声ソフト選択
・CeVIO AIかVOICEVOXかを選択。CeVIO AIは購入が必要です。
⑩CeVIO AIキャスト選択
・CeVIO AIトークボイスで購入済のものを選択してください。
⑪CeVIO AI視聴
⑫VOICEVOXキャスト選択
⑬VOICEVOX視聴
⑭Discord Bot活性化
・Discord Bot： ONにすると外出先でもDiscordを使って電気彼女と会話できます。
⑮Discord Botトークン
・Token：DiscordでBotを構築するときに入手するトークンを設定
⑯DiscordチャンネルID
・Channel Id：指定のDiscordチャンネルのみに応答するために設定
　なくても動きますがキャラごとにチャンネルをわけたい場合は設定してください。
⑰削除モード
・ONにしてUpdateボタンを押すと設定とチャット履歴を削除する
⑱新規追加ボタン
⑲更新ボタン
⑳エモート普通画像
・ドラッグ＆ドロップもしくはクリックでオープンダイアログにて画像を設定
㉑エモート微笑画像
・ドラッグ＆ドロップもしくはクリックでオープンダイアログにて画像を設定
㉒エモート愛情画像
・ドラッグ＆ドロップもしくはクリックでオープンダイアログにて画像を設定
㉓エモート懐疑的画像
・ドラッグ＆ドロップもしくはクリックでオープンダイアログにて画像を設定
㉔エモート心配性画像
・ドラッグ＆ドロップもしくはクリックでオープンダイアログにて画像を設定
㉕エモート否定的画像
・ドラッグ＆ドロップもしくはクリックでオープンダイアログにて画像を設定
㉖チャット履歴削除ボタン
・チャット履歴をクリアする

５．システム設定画面
①サマリ用コンテキストサイズ
②サマリ用テンプチャ
③サマリ用GPUレイヤー数
④サマリ用LLMモデルパス
⑤サマリ用LLMモデルファイルオープン
⑥Stable Diffusion用モデルパス
※Model Pathが未入力か、指定した場所にファイルがない場合は画像生成の処理を行いません。
テキストチャット中に「～の画像生成してみて」というと自動で画像生成の処理が実行されます。音声会話中は処理を行いません。
⑦Stable Diffusion用モデルファイルオープン
⑧Stable Diffusion用Vaeパス
⑨Stable Diffusion用Vaeファイルオープン
⑩Stable Diffusion用Embedding Supportパス
⑪Stable Diffusion用Embedding Supportファイルオープン
⑫Llava用コンテキストサイズ
⑬Llava用テンプチャ
⑭Llava用GPUレイヤー数
⑮Llava用LLMモデルパス
⑯Llava用LLMモデルファイルオープン
⑰Llava用Clipモデルパス
⑱Llava用Clipモデルファイルオープン
⑲Llava用更新ボタン

６．共通設定画面
工事中

７．その他
起動パラメータを指定するとLLMをロードした状態で起動できます。
例）llm_Doghouse.exe /ch1 チャットキャラ１番で起動

ダウンロード

・LLM_Doghouse本体(0.0.1.3) ギガファイル便で2025/1/6までダウンロード可能
　※最初に.NET8のインストールが始まるかも知れないので逆らわずにインストールしてください。
　※前バージョンのチャット履歴を活かしたい場合は、前バージョンChatDB.dbを複写して今回バージョンに上書きしてください。

・LLM Doghouseソース(0.0.1.3)
　※Visual Studio 2022 professionalで開発
　※ChatDB.db(SQLiteデータベース)は実行ファイルとおなじフォルダに移動してください。
　※エモーション画像(*png)は実行ファイルとおなじフォルダに移動してください。
　※Shigobu様作成のVOICEVOX coreのラッパー：VoicevoxCoreNetを使用
　※Discord Botの音声送信にはffmpeg.exeとlibsodium.dllが必要です。下記リンクよりDLしてください。

・CUDA ToolKit Dawnload Nowからダウンロード。ユーザー登録は任意なのでxでスキップできる

・VOICEVOX core(voicevox_core-windows-x64-cpu-0.15.5で動作確認した) =>Releases · VOICEVOX/voicevox_core
・open_jtalk_dic_utf_8-1.11 =>Open JTalk - ダウンロードファイル一覧
こんな感じになるようにしてください

・ffmpeg.exe
オープンソースで開発されているマルチメディアフレームワークで、動画や音声の記録、変換、再生、ストリーミングなどの機能を提供するソフトウェアです。

・libsodium
暗号化、復号化、署名、パスワードハッシュなどのための最新の使いやすいソフトウェアライブラリです。

LLM関連

・DataPilot-ArrowPro-7B-RobinHood-gguf
　要約がいい感じの優秀LLM。GPUメモリがあまりないひとはQ4あたりがいいと思う。

・Vecteus-v1-gguf
　Hな会話も可能な優秀LLM。7BなのでGPUメモリが8GB以上でQ8が動く。
　GeForce GTX 1650 Max-Q 4GB GDDR5搭載のノートでVecteus-v1-Q4_K_Mが動作。

・Lumimaid-v0.2-12B-GGUF
　Hな会話も可能な優秀LLM。8Bと12Bあり。12BのQ6あたりだとRTX3060 12GBで動くと思います。

・gemma-2-27b-it-gguf-japanese-imatrix
　犬マンマが使用しているLLM。GPUメモリが24GB必要。27bは、なぜかエロOK。

・ChatWaifu_12B_v2.0-i1-GGUF、ChatWaifu_v2.0_22B-i1-GGUF
　犬マンマが最近使い始めたLLM。性格が可愛い。独自キャラで起動できるらしい。
　独自キャラについてはココ見てね=>ChatWaifu_v2.0_22B

・LLava LLM
llava-1.6-mistral-7b-gguf
　画像が何なのかを解析するLLM。
mmproj-model-f16.gguf（このファイルが別途必要）

・補足：HuggingFaceからダウンロードする場合、下記のタブにファイルがある。

Stable diffusion関連

・モデル：https://civitai.com/models/84728/photon 人物以外も可能
・Vae：sd-vae-ft-mse-original キレイになるらしい
・Emb：negative_hand Negative Embedding 手が変になるのを防ぐらしい

その他ツール

・DB Browser for SQLite SQLiteを操作できるツール。中身が見たい時や履歴をいじりたい時に使ってください。

履歴