Visual StudioのアップデートでCUDAが外れる？
犬マンマ(doghouse)LLM Doghouseが最近やたら処理が遅いなと思っていたらGPUメモリをほとんど使っていないことが判明。
LLamaSharpのバージョンを0.21.0に戻しても症状は同じ。そういうときはCUDAが怪しいと思いCUDA Toolkitを再インストールしました。そうすると問題なくサクサク動くようになりましたね。
エルザのサイトで「Visual StudioのアップデートしたらCUDA Toolkitを再インストールしてください」なる文言を発見しましたが、ホントのことはわからないので急に処理が遅くなったらCUDA Toolkit再インストールをお試しください。
