Yapay zeka destekli sohbet robotları şimdiye kadar birçok kullanıcı tarafından uzak sunucular sayesinde kullanıldı. Ancak şimdilerde ise bu sohbet robotlarının bilgisayarlar ve akıllı telefonlarda yerel olarak çalıştırılmasına yönelik çabalar görüyoruz.
NVIDIA bugün, Windows kullanıcılarının, depolanmış yerel içeriğe bağlanan kendi büyük dil modeli sohbet robotlarını oluşturmaları için yeni bir yol duyurdu.
NVIDIA buna RTX ile yerel LLM Sohbet adını veriyor ve şu anda şirketin web sitesinden bir demo sürümü mevcut. Adından da anlaşılacağı gibi, bu yerel sohbet robotunu çalıştırmak için bilgisayarınızda bir NVIDIA GeForce RTX GPU olması gerekiyor.
Yerel sohbet robotunun tam donanım gereksinimleri ise şu şekilde:
- En az 8 GB VRAM’e sahip NVIDIA GeForce RTX 30 veya 40 Serisi GPU veya NVIDIA RTX Ampere veya Ada Generation GPU
- 16 GB veya daha fazla RAM kapasitesi
- Windows 11 işletim sistemi
- 535.11 veya üzeri bir GeForce Sürücüsü
İndirip yükledikten sonra RTX ile Sohbet uygulamasını belgeler, PDF dosyaları, videolar ve daha fazlası gibi yerel olarak depolanan içeriğinize bağlayabilirsiniz. Daha sonra sohbet robotuna sormak için bu yerel veri setini kullanabilirsiniz. Böylece sizin incelemenize gerek kalmadan sohbet robotu sizin için inceleme yaparak yanıt verebilir.
Ayrıca RTX ile Sohbet yapay zeka robotu, bazı YouTube videolarında ek bilgi bulabilir. Bunun için tek yapmanız gereken video URL’sini uygulamaya kopyalamak ve ardından videonun içeriği hakkında sorular sormak.
RTX ile Sohbet gibi yerel LLM uygulamalarının en büyük özelliği, eğitim ve diğer amaçlarla bir şirketin bulut sunucusuna veri göndermeyecek olmanız. Ancak sohbet robotunu çalıştırabilmeniz içn güçlü bir bilgisayara ihtiyacınız olacak.
NVIDIA, RTX ile Sohbet uygulamasını şimdilik ücretsiz bir demo olarak kullanıma sunuyor. Bu, şirketin gelecekte uygulamayı daha fazla özelliğe sahip ücretli veya abonelik tabanlı bir uygulamaya dönüştürmeyi planladığı anlamına gelebilir.
