LLMのご紹介09
犬マンマ(doghouse)Himeyuri-Magnum-12B-v2-i1-GGUFを使ってみました。最近はコンテキストサイズを大きめに取りたいので12Bのモデルを中心に物色しています。
LLM Doghouseの設定画面はこんな感じ。LLM Doghouseはマイクが接続されてないといきなり終了することが発覚しました。次のアップデートで修正予定です。なのでWebカメラとかでもいいので何かマイクになるものを接続してください。RTX3090 24GBでも12B-Q6モデルに対してコンテキストは40,000しか取れません。
※コンテキストサイズが小さいと過去の会話履歴を読み込む量が少なくなります。すぐにいっぱいになるので切り捨てるか要約して節約する必要があります。
実行結果です。エロ全開で答えてくれます。長文なので小説向きかも。最後のセリフは少し引いてしまいましたのでTemperatureを下げた方がいいかもしれません。
ちなみに３行目以降は、音声で会話してますのでアイ→愛になってます。
