Local'de bir llm modeli çalıştırmayı çok hayal ettim. Bu şekilde mobill olup, istediğim yerde projeye devam etme hayallerim var idi.
Çünkü Local'de çalışan llm modellerinin chat - iletişim kabiliyetleri ve günlük Türkçe anlama kabilliyetleri çok zayıf. Normal gevezelik amaçlı çok fark edemezsin. İş proje taslak aşamasına geldiğinde maalesef. Ki ben basit bir modele amacımı anlattım. Bana verdiği cevap,
proje kodunu çalıştır hata olduğunda bana ver gerekli düzeltmeyi yaparım dedi. Zaten kod yazabilsem... Diye bir metin aklımdan geçti
Bu Local'deki Llm'lerin sosyal ilişki süreçleri çok aşırı zayıf. 32gb ve daha yüksek bir GPU olsa da modellerin sosyal kısımları zayıf. Online modellerdeki input'larımız ve bize gelen Output'lar bu süzgeçden geçiyor. Local'de bunlar yok.
Şu an için maalesef Online modellere ister istemez bağımlıyız.
Ama sizi sınırlamasın. Zaman içinde bunlar da gelişiyor. Lm Studio gibi yazılımlar hazır paketleri seçim ile otomatik kurulum yaparak size alternatif modeller sunuyor.
Şahsi tavsiyem, kullanacağınız GPU'nun VRAM kapasitesinin 2 katı bir RAM'e sahip olmanız. Lm Studio içinde model seçiminden sonra ayarlar ile bağlam ve chat kaybını azaltmak için bu RAM'den kullanabileceğiniz bazı ufak ayarlar mevcut.
GPU olarak en düşün 2070 ve üstü tercih ediniz. Güncel driver ile CUDA yüklemesini mutlaka yapın. Ekran kartınız için sorunsuz CUDA seçimini ise Online modellerden sorgulayabilirsiniz. Güncel CUDA kullanacağınız eski model için uygun olmayabilir.
Hedefinizdeki sonucu bilmeden yönlendirmek te çok zor.
Stable Diffusion - dinamik satış analizleri - dikey veri analizleri (offline) - güvenlik taraması - oyunlar veya web sayfaları için grafik hazırlamak, görsel ara birimi olmayan projeleri değiştirip geliştirmek, soru bankaları oluşturmak, OCR analizleri yaptırmak, POE tasarımları - CNC tasarımları...
Diğer arkadaşlar gibi bilemedim.