Promptの調整①

using LLama.Common;
using LLama;
using System.Media;
using System.Net.Http.Headers;

namespace ChatProgram
{
    public class Program
    {
        static void Main(string[] args)
        {
            //コンソールアプリケーションからAsyncを呼び出す
            Task task = MainAsync();
            //終了を待つ
            task.Wait();
        }

        public static async Task MainAsync()
        {
            string strModelPath = Environment.GetEnvironmentVariable("LLMPATH", System.EnvironmentVariableTarget.User) + @"grapevine-AI\CALM3-22B-Chat-GGUF\calm3-22b-chat-Q6_K.gguf";

            try
            {
                Console.ForegroundColor = ConsoleColor.Blue;
                //LLMモデルのロードとパラメータの設定
                var modPara = new ModelParams(strModelPath)
                {
                    ContextSize = 512,
                    Seed = 1337,
                    GpuLayerCount = 24
                };

                LLamaWeights llmWeit = LLamaWeights.LoadFromFile(modPara);
                LLamaContext llmContx = llmWeit.CreateContext(modPara);
                InteractiveExecutor itrEx = new(llmContx);

                //チャットログを読み込みます。
                ChatHistory chtHis = new ChatHistory();
                chtHis.AddMessage(AuthorRole.System, "アシスタントは、コメディアンです。おもしろいネタを披露するのが得意です。できるだけ短い面白い言葉を考えてください。");  //キャラ設定
                chtHis.AddMessage(AuthorRole.User, "User: 一言で笑えるネタを言ってください。");
                chtHis.AddMessage(AuthorRole.Assistant, "Assistant: 想像してください。ヤクルトの１リットルサイズ。" + "\nUser:");
                chtHis.AddMessage(AuthorRole.User, "User: 一言で笑えるネタを言ってください。");
                chtHis.AddMessage(AuthorRole.Assistant, "Assistant: 俺はもう絶対にギャンブルなんかしねぇんだ。賭けてもいいぜ。" + "\nUser:");
                chtHis.AddMessage(AuthorRole.User, "User: 一言で笑えるネタを言ってください。");
                chtHis.AddMessage(AuthorRole.Assistant, "Assistant: マツダイラケンのアナグラム、ケツダイラマン。" + "\nUser:");


                ChatSession chtSess = new(itrEx, chtHis);
                var varHidewd = new LLamaTransforms.KeywordTextOutputStreamTransform(["User: ", "Assistant: "]);
                chtSess.WithOutputTransform(varHidewd);
                InferenceParams infPara = new()
                {
                    Temperature = 0.8f,
                    //AntiPrompts = ["User:"],
                    AntiPrompts = ["User:", "<|eot_id|>"],  //Llama3用
                    MaxTokens = 256,
                };


                while (true) 
                {
                    // ユーザーからの質問
                    ChatHistory.Message msgText = new(AuthorRole.User, "User: "+ "一言で笑えるネタを言ってください。");
                    // 回答の表示
                    Console.ForegroundColor = ConsoleColor.Yellow;
                    string strMsg = "";
                    await foreach (string strText in chtSess.ChatAsync(msgText, infPara))
                    {
                        strMsg += strText;
                    }
                    //発信するときは「User:」や「Assistant:」「Assistance:」を抜く
                    string strSndmsg = strMsg.Replace("User:", "").Replace("Assistant:", "").Replace("Assistance:", "").Replace("sistensu:", "").Trim();
                    Console.WriteLine(strSndmsg);
                    Task task = Voicevox(strSndmsg);
                    task.Wait();
                }

            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.ToString());
            }

        }

        public static async Task Voicevox(string strMsg)
        {
            MemoryStream? ms;

            try
            {
                using (var httpClient = new HttpClient())
                {
                    string strQuery;
                    int intSpeaker = 10000; //nemo男2

                    // 音声クエリを生成
                    using (var varRequest = new HttpRequestMessage(new HttpMethod("POST"), $"http://localhost:50121/audio_query?text={strMsg}&speaker={intSpeaker}&enable_interrogative_upspeak=true"))
                    {
                        varRequest.Headers.TryAddWithoutValidation("accept", "application/json");

                        varRequest.Content = new StringContent("");
                        varRequest.Content.Headers.ContentType = MediaTypeHeaderValue.Parse("application/x-www-form-urlencoded");

                        var response = await httpClient.SendAsync(varRequest);

                        strQuery = response.Content.ReadAsStringAsync().Result;
                    }

                    // 音声クエリから音声合成
                    using (var request = new HttpRequestMessage(new HttpMethod("POST"), $"http://localhost:50121/synthesis?speaker={intSpeaker}&enable_interrogative_upspeak=true"))
                    {
                        request.Headers.TryAddWithoutValidation("accept", "audio/wav");

                        request.Content = new StringContent(strQuery);
                        request.Content.Headers.ContentType = MediaTypeHeaderValue.Parse("application/json");

                        var response = await httpClient.SendAsync(request);

                        // 音声を保存
                        using (ms = new MemoryStream())
                        {
                            using (var httpStream = await response.Content.ReadAsStreamAsync())
                            {
                                httpStream.CopyTo(ms);
                                ms.Flush();
                            }
                        }
                    }
                }

                ms = new MemoryStream(ms.ToArray());
                //読み込む
                var player = new SoundPlayer(ms);
                //再生する
                player.PlaySync();
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.ToString());
            }
        }

    }
}