Rehber Bilgisayarda internet olmadan ChatGPT çalıştırma

pyrov

Hectopat
Katılım
28 Kasım 2020
Mesajlar
774
Makaleler
4
Çözümler
3
Bilgisayarınızda yerel olarak (bilgisayarın kendi işlem gücünü kullanarak) kendi yapay zeka modelinizi çalıştırın.
Bu işlem yüksek işlem gücü sunan işlemci ve ekran kartı gerektiriyor.
Ben kullanırken işlemci gücü 70W'u geçiyor. (R5 4600G)
MacOS, Linux ve Windows destekleniyor.
Bunun için birçok araç bulunuyor. Ben GPT4All programı ile kullanımı göstereceğim.

1: Aşama: GPT4All kurulumu​

  1. GPT4All web sitesinden işletim sisteminizle uyumlu olan versiyonu indirin.
  2. Setup dosyasını çalıştırın ve klasik "next, next, install" diyerek kurulumu tamamlayın.
  3. Uygulamayı çalıştırdığınızda önünüze böyle bir pencere gelecek. Burada Download models butonuna basarak devam edelim.
    1714937554025.png
  4. Bu ekranda istediğimiz yapay zeka modelini seçiyoruz. Benim önerim Llama 3 Instruct. Sanırım bu tarihe kadar çıkmış en iyi açık kaynak kodlu yapay zeka modeli. Bu modeli çalıştırmak için minimum 8GB RAM'e sahip olmalısınız. Kapladığı alan ise yaklaşık 5GB. Download butonuna basarak modeli indirelim.
    1714937794203.png
    1714937812213.png
  5. Menüde yukarıda bulunan ayarlar ikonuna basalım. Burada yapmamız gereken birkaç ayar var. Applications menüsünde Device kısmında modeli işleyecek olan birimimizi seçmemiz gerekiyor. Burada GPU veya CPU seçebiliyoruz. Eğer GPU'nuz güçlüyse (RTX/RX 5xxx/6xxx/7xxx serileri [Minimum 8GB VRAM]) burada GPU ile işlemeyi seçin. Bu işlemi gerçekten hızlandırıyor. Eğer GPU'nuz çok güçlü değilse CPU seçerek devam edebilirsiniz. Ayarlayacağımız ikinci ayar ise CPU Threads kısmı. Burada işlemci çekirdek sayınızın (Sanal çekirdekler dahil olmadan) 2 katını girmeniz gerekiyor. Eğer Apple Silicon Mac kullanıyorsanız Advanced settings kısmından Force Metal tikini işaretlemenizi tavsiye ediyorum.
    1714938097241.png
  6. Ana menüde üst menüde Choose a model kısmına tıklayıp indirdiğiniz modelin üzerine tıklayın. Tıkladıktan sonra yapay zekanız kurulmuş olacak. Unutmayın hızı bilgisayarınızın gücüne bağlı olarak değişebilir.
    1714938346487.png
Ryzen 5 4600G ile (GPU VRAM yetersiz olduğu için çalışmadı) 4 Token/s
Kullananılan tüm programlar açık kaynaklıdır. GitHub reposundan inceleyebilirsiniz.
Eğer takıldığınız bir nokta olursa sorabilirsiniz.
 
Peki bu yapay zeka güncel konuları nasıl ele alacak? İnternete bağlandığında verileri kendine yükleme gibi bir olay mı olacak? Mesela internet yokken ücra bir tarih sorusu sordum cevaplayabiliyor mu?
 
Peki bu yapay zeka güncel konuları nasıl ele alacak? İnternete bağlandığında verileri kendine yükleme gibi bir olay mı olacak? Mesela internet yokken ücra bir tarih sorusu sordum cevaplayabiliyor mu?
ChatGPT 3.5 Turbo modeli gibi. İnternet erişimi yok. Model hangi yıl verilerine kadar eğitildiyse o.
Kendisi 2022'ye kadar olan verilerle eğitildiğini söylüyor.
1714939898817.png
 
Türkçe desteği yok anladığım kadarıyla.
Seçtiğiniz modele göre değişiyor. Bazı modellerde bulunuyor bazılarında bulunmuyor. Örneğin bu modelde Türkçe dilini anlayabiliyor ancak sınırlı seviyede Türkçe olarak cevap verebiliyor. Ancak anlama konusunda sorunu yok.
 

Geri
Yukarı