LLMのご紹介06

今話題の日本産LLMのABEJA-Qwen2.5-32B-base-jp-v0.1のご紹介です。なぜかLLM-Doghouseでも実行できました。

34Bと大きめなのでQ4＿K_Sまで落として実行しています。コンテキストサイズを8196にして19.3GB使用しています。かなり高性能ですが筆者のようにエロ目的だとガチ切れさせてしまいました。健全な使い方のひとだけお勧めです😓

日本語がちょっとおかしいのはGemma-3のチャット履歴の影響です。LLM-Doghouse0.0.1.10のテストを兼ねて。LLM-Doghouse0.0.1.10ではタイトルバーに常にウィンドウを前面にするトグルボタン追加とChat Settingで履歴ごとコピーできる機能を追加する予定です。
あと別ツールで犬マンマNTRチャット履歴を利用者の名前とアシスタント名に置き換えてコピーするツールを作ろうかなと考えていましたが需要なさそうなのでやめました😜

Follow me!

@3ddoghouse