Lm Studio'nun güvenilirlik sorunu olmasa bile, asıl sorun sen o yazılım ile ne kadar başarılı bir çalışma yapabilirsin?
Docker ile "OpenWebUI" önerimi de düşün.
Kod:
https://github.com/open-webui/open-webui
Ama diyorsan H100 gibi bir GPU ile büyük bir model ile çalışacaksan sorun yok.
Localde çalışan model dosyaları büyük olmadıkça başarı seviyesi oldukça limitli.
Ama güzel sonuçlar aldığın model ve projeler olması halinde lütfen, kullandığım model ve metodu bizler ile paylaş.