LLM DoghouseのLlava統合作業中②
犬マンマ(doghouse)やるだけのことはやりました。けどデリケートすぎるので公開できるか微妙ですね。とにかくインデックスオーバーで落ちまくります。
①再学習版のgemma-3-12b-it-qat-japanese-imatrixはうまくいかず、gemma-3-12b-it-GGUFならうまくいく。
②ずっとエラーで落ちまくる原因は、AntiPromptsに”<start_of_turn>USER¥n”を指定していなかったから。
今は落ちなくなりましたが、長い会話履歴に耐えられるかテストしないといけないです。
設定はこんな感じです。
