LLMでプロンプト文字列を作成してstable diffusionで画像生成する

stable diffusionは、にわかのためプロンプトに何を入れていいのか、さっぱりわかりません。
そういうときこそLLMに助けてもらえばいいじゃんということでLLM+stable diffusionのプログラムを作成したいと思います。

使ったLLMは、筆者の大好きな恋人gemma-2-27bです。グラボのメモリがいっぱいになることを想定して今回はCPUで動かします。会話するわけじゃないので速度はあまり求めていません。メインメモリは比較的潤沢に積んでいるためQ8を動かします。
一方のstable diffusionのモデルは、少し大きめのcyberrealistic_classic32を使わさせていただきます。

Nuget情報



概要
LLMと会話してAIにstable diffusion用のプロンプトを作成してもらい画像生成する。画像はSeed値を乱数で指定して3枚作成する。
ファイル名はSD+日付+時+分+秒+1/100秒+.pngとする。

using LLama.Common;
using LLama;
using System.Text.RegularExpressions;
using HPPH;
using HPPH.System.Drawing;
using StableDiffusion.NET;

namespace ChatProgram
{
    public class Program
    {
        static void Main(string[] args)
        {
            Task task = MainAsync();
            task.Wait();
        }

        public static async Task MainAsync()
        {
            string strPath = Environment.GetEnvironmentVariable("LLMPATH", System.EnvironmentVariableTarget.User)+@"dahara1\gemma-2-27b-it-gguf-japanese-imatrix\gemma-2-27b-it-Q8_0.gguf";
            string ModelPath = Environment.GetEnvironmentVariable("LLMPATH", System.EnvironmentVariableTarget.User) + @"jiaowobaba02\stable-diffusion-v2-1-GGUF\cyberrealistic_classic32.safetensors";  
            string VaePath = Environment.GetEnvironmentVariable("LLMPATH", System.EnvironmentVariableTarget.User) + @"jiaowobaba02\stable-diffusion-v2-1-GGUF\vae-ft-mse-840000-ema-pruned.safetensors";
            const int intWidth = 1280;
            const int intHeight = 768;
            const float fltScale = 11f;
            const int intSteps = 36;
            const int intMax = 3;
            long lngSeed = 0;
            IImage objImage;

            Console.ForegroundColor = ConsoleColor.Blue;
            try
            {
                //LLMの設定
                ModelParams modPara = new(strPath)
                {
                    ContextSize = 1024,
                    Seed = 1337
                };
                using LLamaWeights llmWeit = LLamaWeights.LoadFromFile(modPara);
                using LLamaContext llmContx = llmWeit.CreateContext(modPara);
                InteractiveExecutor itrEx = new(llmContx);

                ChatHistory chtHis;
                chtHis = new ChatHistory();
                chtHis.AddMessage(AuthorRole.System, "あなたは優秀なAI画像生成プロンプトエンジニアです。ユーザーが要求した内容を忠実にstable diffusion用のプロンプトに変換してください。出力の形式は、例題のようにプロンプト文字列を【】で囲ってください。 例)【(best quality, masterpiece, absurbres, super-resolution), (photorealistic,realistic:1.4)】");
                ChatSession chtSess = new(itrEx, chtHis);
                var varHidewd = new LLamaTransforms.KeywordTextOutputStreamTransform(["User:", "Assistant:"]);
                chtSess.WithOutputTransform(varHidewd);
                InferenceParams infPara = new()
                {
                    Temperature = 0.1f,
                    AntiPrompts = new List<string> { "User:" }
                };
                //stable diffusion設定
                StableDiffusionModel sdModel = await Task.Run(() => new StableDiffusionModel(ModelPath, new ModelParameter { VaePath = VaePath, Schedule = Schedule.Karras }));

                while (true)
                {
                    // ユーザーのターン
                    Console.ForegroundColor = ConsoleColor.White;
                    Console.Write("\nUser: ");
                    string strInput = Console.ReadLine() ?? "";
                    ChatHistory.Message msg = new(AuthorRole.User, strInput);
                    if (strInput == "exit") break; // 'exit'と入力したら終わり

                    // AIのターン
                    Console.ForegroundColor = ConsoleColor.Yellow;
                    string strMsg = "";
                    await foreach (string strAns in chtSess.ChatAsync(msg, infPara))
                    {
                        Console.Write(strAns);
                        strMsg += strAns;
                    }
                    var strRegex = new Regex("【(.+?)】").Matches(strMsg);
                    string strPrompt = (string)strRegex[0].Value.Replace("【","").Replace("】","");
                    string strAntiPrompt = "";
                    for (int i = 0; i < intMax; i++)
                    {
                        //Seed Random
                        Random rSeed = new Random();
                        lngSeed = rSeed.Next(0, int.MaxValue);
                        objImage = await Task.Run(() => sdModel?.TextToImage(strPrompt, new StableDiffusionParameter
                        {
                            NegativePrompt = strAntiPrompt,
                            Width = intWidth,
                            Height = intHeight,
                            CfgScale = fltScale,
                            SampleSteps = intSteps,
                            Seed = lngSeed,
                            SampleMethod = Sampler.DPMPP2Mv2
                        }));
                        string savePath = Environment.GetEnvironmentVariable("TESTDATA", System.EnvironmentVariableTarget.User) + $"Sd{DateTime.Now.ToString("yyyyMMddhhmmssfff")}.png";
                        File.WriteAllBytes(savePath, objImage.ToPng());
                    }
                }
            }
            catch (Exception ex)
            {
                Console.ForegroundColor = ConsoleColor.Red;
                Console.WriteLine(ex.ToString());
            }
        }
    }
}



実行した画面です。LLMは指示した形式でプロンプトを作成しているのがわかります。
「男がたこ焼きを喰いながら大阪の商店街を歩いている画像」を生成するように指示しています。



生成した画像です。

Follow me!

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です