LLMでプロンプト文字列を作成してstable diffusionで画像生成する
stable diffusionは、にわかのためプロンプトに何を入れていいのか、さっぱりわかりません。
そういうときこそLLMに助けてもらえばいいじゃんということでLLM+stable diffusionのプログラムを作成したいと思います。
使ったLLMは、筆者の大好きな恋人gemma-2-27bです。グラボのメモリがいっぱいになることを想定して今回はCPUで動かします。会話するわけじゃないので速度はあまり求めていません。メインメモリは比較的潤沢に積んでいるためQ8を動かします。
一方のstable diffusionのモデルは、少し大きめのcyberrealistic_classic32を使わさせていただきます。
Nuget情報
概要
LLMと会話してAIにstable diffusion用のプロンプトを作成してもらい画像生成する。画像はSeed値を乱数で指定して3枚作成する。
ファイル名はSD+日付+時+分+秒+1/100秒+.pngとする。
using LLama.Common;
using LLama;
using System.Text.RegularExpressions;
using HPPH;
using HPPH.System.Drawing;
using StableDiffusion.NET;
namespace ChatProgram
{
public class Program
{
static void Main(string[] args)
{
Task task = MainAsync();
task.Wait();
}
public static async Task MainAsync()
{
string strPath = Environment.GetEnvironmentVariable("LLMPATH", System.EnvironmentVariableTarget.User)+@"dahara1\gemma-2-27b-it-gguf-japanese-imatrix\gemma-2-27b-it-Q8_0.gguf";
string ModelPath = Environment.GetEnvironmentVariable("LLMPATH", System.EnvironmentVariableTarget.User) + @"jiaowobaba02\stable-diffusion-v2-1-GGUF\cyberrealistic_classic32.safetensors";
string VaePath = Environment.GetEnvironmentVariable("LLMPATH", System.EnvironmentVariableTarget.User) + @"jiaowobaba02\stable-diffusion-v2-1-GGUF\vae-ft-mse-840000-ema-pruned.safetensors";
const int intWidth = 1280;
const int intHeight = 768;
const float fltScale = 11f;
const int intSteps = 36;
const int intMax = 3;
long lngSeed = 0;
IImage objImage;
Console.ForegroundColor = ConsoleColor.Blue;
try
{
//LLMの設定
ModelParams modPara = new(strPath)
{
ContextSize = 1024,
Seed = 1337
};
using LLamaWeights llmWeit = LLamaWeights.LoadFromFile(modPara);
using LLamaContext llmContx = llmWeit.CreateContext(modPara);
InteractiveExecutor itrEx = new(llmContx);
ChatHistory chtHis;
chtHis = new ChatHistory();
chtHis.AddMessage(AuthorRole.System, "あなたは優秀なAI画像生成プロンプトエンジニアです。ユーザーが要求した内容を忠実にstable diffusion用のプロンプトに変換してください。出力の形式は、例題のようにプロンプト文字列を【】で囲ってください。 例)【(best quality, masterpiece, absurbres, super-resolution), (photorealistic,realistic:1.4)】");
ChatSession chtSess = new(itrEx, chtHis);
var varHidewd = new LLamaTransforms.KeywordTextOutputStreamTransform(["User:", "Assistant:"]);
chtSess.WithOutputTransform(varHidewd);
InferenceParams infPara = new()
{
Temperature = 0.1f,
AntiPrompts = new List<string> { "User:" }
};
//stable diffusion設定
StableDiffusionModel sdModel = await Task.Run(() => new StableDiffusionModel(ModelPath, new ModelParameter { VaePath = VaePath, Schedule = Schedule.Karras }));
while (true)
{
// ユーザーのターン
Console.ForegroundColor = ConsoleColor.White;
Console.Write("\nUser: ");
string strInput = Console.ReadLine() ?? "";
ChatHistory.Message msg = new(AuthorRole.User, strInput);
if (strInput == "exit") break; // 'exit'と入力したら終わり
// AIのターン
Console.ForegroundColor = ConsoleColor.Yellow;
string strMsg = "";
await foreach (string strAns in chtSess.ChatAsync(msg, infPara))
{
Console.Write(strAns);
strMsg += strAns;
}
var strRegex = new Regex("【(.+?)】").Matches(strMsg);
string strPrompt = (string)strRegex[0].Value.Replace("【","").Replace("】","");
string strAntiPrompt = "";
for (int i = 0; i < intMax; i++)
{
//Seed Random
Random rSeed = new Random();
lngSeed = rSeed.Next(0, int.MaxValue);
objImage = await Task.Run(() => sdModel?.TextToImage(strPrompt, new StableDiffusionParameter
{
NegativePrompt = strAntiPrompt,
Width = intWidth,
Height = intHeight,
CfgScale = fltScale,
SampleSteps = intSteps,
Seed = lngSeed,
SampleMethod = Sampler.DPMPP2Mv2
}));
string savePath = Environment.GetEnvironmentVariable("TESTDATA", System.EnvironmentVariableTarget.User) + $"Sd{DateTime.Now.ToString("yyyyMMddhhmmssfff")}.png";
File.WriteAllBytes(savePath, objImage.ToPng());
}
}
}
catch (Exception ex)
{
Console.ForegroundColor = ConsoleColor.Red;
Console.WriteLine(ex.ToString());
}
}
}
}
実行した画面です。LLMは指示した形式でプロンプトを作成しているのがわかります。
「男がたこ焼きを喰いながら大阪の商店街を歩いている画像」を生成するように指示しています。
生成した画像です。