GPU’da çalışan yapay zeka: ChatRTX nedir, nasıl kullanılır?

Donanım konusunda yapay zeka pazarının tartışmasız lideri olan NVIDIA, aynı zamanda yazılım tarafında da ilgi çekici yenilikler sunuyor. Yeşil takımın bildiğiniz gibi farklı kitlelere hitap eden platformları var. Öte yandan, şirket fark yaratan bir AI sohbet robotu piyasaya sürmese olmazdı: Bugün biraz RTX GPU’lar üzerinde yerel olarak çalışan ChatRTX’in üzerinde duracağız.

Üretken yapay zeka ve AI destekli bilgisayarlar popülerliğini artırmaya devam ediyor. Hemen hemen her platform bir internet bağlantısı gerektirirken, NVIDIA ChatRTX’i hiçbir bağlantı olmadan GPU üzerinden doğrudan kullanabiliyorsunuz. Bu sohbet botu günlük işlerinizde, okul hayatınızda veya iş hayatınızda size fayda sağlayabilir.

ChatRTX nedir?

ChatRTX, bilgisayarınızda yerel olarak çalışan ve GeForce RTX GPU’nuz tarafından hızlandırılan bir yapay zeka asistanı. Demo olarak piyasaya sürülen “Chat with RTX” sonrasında “ChatRTX” adını almıştı. Bu arada, şirket halen ChatRTX’i bir demo olarak nitelendiriyor. Belki siz bu kelimeleri okurken demo uygulamasından çıkmış olur.

NVIDIA, RTX GPU sahipleri için ek yapay zeka modelleri entegre ederek deneysel ChatRTX sohbet robotunu geliştirmeye devam ediyor. Windows PC’de çalışan sohbet robotu, kişisel belgeleri sorgulamak için daha önce Mistral veya Llama 2’yi kullanabiliyordu. Ancak desteklenen yapay zeka modelleri listesi Google Gemma, ChatGLM3 ve OpenAI CLIP modelini de kapsayacak şekilde genişledi. Yeşil takım, ChatRTX ismine geçiş yaparken Mistral 7B INT4 ve Llama 2 7B INT4 dahil olmak üzere uygulamaya dahil edilen LLM’leri önemli ölçüde güncellemişti.

Kısaca değinecek olursak CLIP, görüntü koleksiyonlarında gördüklerini tanıyan bir büyük dil modeli. Bu özelliği kullanarak, meta verilere ihtiyaç duymadan görüntülerle etkileşim kurabilirsiniz. ChatRTX sadece metin girişi değil, aynı zamanda konuşarak iletişim kurma becerisine de sahip. Whisper konuşma-metin NLI modeli dahil edildiği için doğal ses girişini mümkün.

GPU üzerinde çalışan sohbet botu, GPT büyük dil modelini (LLM) belgeler, notlar ve görüntüler dahil olmak üzere kendi içeriğine göre özelleştirebilmesini sağlıyor. Geri getirme destekli üretim (RAG), TensorRT-LLM ve RTX hızlandırma teknolojilerini kullanarak özelleştirilmiş bir sohbet robotundan sorunuzla ilgili yanıtları hızla alabilirsiniz. NVIDIA, işlemler Windows RTX PC veya iş istasyonunda yerel olarak gerçekleştiği için sonuçların hem hızlı hem de güvenli olduğunu belirtiyor.

Güvenlik demişken, üretken AI modellerini PC’lerde yerel olarak çalıştırmanın kullanım durumuna göre avantajları var: Ekstra maliyet yok, performans genellikle bulut tabanlı yapay zekaya göre daha iyi ve güvenlik endişeleri en düşük seviyede. Başka bir deyişle, AI modellerini çalıştırırken özel verilerinizi başka bir sunucuya yüklemek zorunda kalmıyorsunuz.

GPU devi, ChatRTX’i ilk olarak “Chat with RTX” adıyla, çalışması için minimum 8 GB VRAM’e sahip RTX 3000 veya 4000 serisi GPU gerektiren bir demo uygulaması olarak tanıttı. Temel olarak bir tarayıcıdan erişilebilen yerel bir sohbet robotu sunucusu oluşturarak, uygulama kullanıcıların yerel belgeleri ve hatta YouTube videolarını kullanmalarına olanak tanıyor, kişisel verilerden elde edilen özetler ve yanıtlarla tamamlanmış başarılı bir arama aracı sunuyor.

Özetle ChatRTX, tüm kullanıcıların metin, resim veya diğer veriler dahil olmak üzere kendi içeriklerine ve çalışma materyallerine bağlı kişiselleştirilmiş, GPT büyük dil modeli oluşturmalarına olanak tanıyan bir platform. Yapay zeka destekli platform, içeriğe göre sorulara hızlı bir şekilde ilgili yanıtlar verebilen kişiselleştirilmiş bir sohbet botu gibi çalışıyor. Uygulamayı Windows tabanlı bilgisayar veya iş istasyonunda yerel olarak çalıştırabilirsiniz. Diğer yapay zeka platformlarından farklı olarak, tamamen sisteminiz üzerinde çalışıyor ve kapsamlı bir şekilde özelleştirilebiliyor.

ChatRTX’in kilit özellikleri

Ekran kartınızla, internet bağlantısı olmadan çalıştırabileceğiniz yapay zeka sisteminin özelliklerine maddelerle değinecek olursak:

• Gerçek zamanlı AI konuşmaları: NVIDIA RTX GPU’ları kullanarak etkileşimli yapay zeka konuşmaları için anında, doğal dil işleme desteği.
• Farklı dosya formatları: Yerel yapay zeka asistanı, .txt, .pdf, .doc, xml gibi farklı dosya biçimlerini desteklemekte. Tek yapmanız gereken, ChatRTX’e hangi klasörü kullanacağınızı belirtmek ve ardından sohbet robotuyla doğal dil kullanarak iletişim kurmak. ChatRTX, eski raporlardan bilgi almak, yazılım dokümantasyonunuzu incelemek ve daha fazlası için kullanılabilir.
• Gelişmiş dil modelleri: En son teknoloji modelleri entegre ederek gerçek zamanlı olarak doğru ve bağlamla ilgili yanıtlar sunabiliyor.
• Yüksek çözünürlüklü grafikler: Görsel açıdan yoğun uygulamalar için yüksek kaliteli, gerçek zamanlı grafik işleme imkanı.
• Çoklu dil desteği: Birden fazla dil için sağlam destek sunarak küresel erişilebilirliği ve kullanıcı etkileşimini artırıyor.
• Ölçeklenebilir AI dağıtımı: Ölçeklenebilirlik için tasarlanan ChatRTX, çeşitli kurumsal uygulamalar arasında sorunsuz entegrasyon ve genişlemeyi mümkün kılıyor.
• Enerji verimli işleme: RTX GPU’ların verimliliğini kullanarak gelişmiş AI modelleri çalıştırılırken enerji maliyetleri azalıyor.
• Gizlilik ve Güvenlik: Tamamen çevrimdışı çalışmakta, veri gizliliği sağlanıyor. Ayrıca hassas verileri korumak ve AI etkileşimleri sırasında gizliliği sağlamak için gelişmiş güvenlik protokolleri mevcut.
• Özelleştirilebilir kullanıcı deneyimi: Kullanıcıların belirli tercih ve gereksinimlerini karşılamak için AI etkileşimlerini ve görsel ayarları özelleştirmek mümkün.
• Sürekli öğrenme sistemi: Zaman içinde doğruluğu ve performansı artırmak için etkileşimlerden sürekli olarak güncelleme yapabiliyor ve öğrenebiliyor.

ChatRTX’in olumsuz tarafları

• Yüksek donanım gereksinimleri: Yapay zeka aracı, tüm kullanıcılar veya küçük işletmelerin erişemeyeceği gelişmiş GPU’lar gerektiriyor.
• Sınırlı yazılım uyumluluğu: ChatRTX, mevcut tüm sistemler veya yazılımlarla sorunsuz bir şekilde entegre olmayabilir, bu da kullanılabilirliğini sınırlayabilir.
• Yüksek maliyet potansiyeli: RTX GPU’lar gibi en son teknolojinin kullanılması, donanım yükseltmeleri ve bakımı için önemli masraflara yol açabilir.
• Karmaşık kurulum süreci: ChatRTX’in kurulumu teknik uzmanlık gerektirebilir zira tek tıkla kullanmaya başlayamıyorsunuz.
• Kaynak yoğun çalışma: Aracın çalışması önemli miktarda hesaplama kaynağı tüketebilir ve diğer uygulamaların performansını etkileyebilir.

ChatRTX nasıl indirilir ve kullanılır?

Maalesef ki ChatRTX’i kullanabilmek için yaklaşık 35 GB’lık bir indirme yapmanız gerekiyor.

• İlk olarak bu bağlantıyı kullanarak NVIDIA ChatRTX’in resmi web sayfasına erişin. NVIDIA, aracın temel olarak bir teknoloji demosu olduğunu söylüyor. Daha gelişmiş araçlar geliştirmek isteyenler için, kullanılan referans proje GitHub’da mevcut.
• Download Now (Şimdi İndir) butonuna tıkladığınızda, anında bilgisayarınıza 12 küsür MB’lık bir “.exe” dosyası inecek.
• “ChatRTX_x.x.exe” dosyasına çift tıklayarak yükleyiciyi başlatın. Yükleyici, sisteminizde uyumlu bir GPU olup olmadığını kontrol ederek sistem uyumluluğunu denetleyecek.
• Varsayılan yükleme klasörünü veya “Gözat” düğmesine tıklayarak farklı bir klasör seçebilirsiniz.
• Yükleme tamamlandıktan sonra masaüstünde ChatRTX’e ait bir simge oluşturulacak.
  
• Simgeye çift tıkladığımızda, kullanıcı arayüzü olan uygulama karşınıza çıkacak. Bu süreç sisteminize bağlı olarak birkaç dakika sürebilir.
  “AI Modeli (AI Model)” sekmesine tıklayarak ve sağ tarafta bulunan “AI modeli seç (Select AI model)” listesinden bir model seçerek uygulamaya AI modelleri ekleyebilirsiniz. Varsayılan olarak seçilen model Meta Llama 3.1 8b NIM olacak. Bir not olarak, ilk etapta RTX 5080 ve 5090 ekran kartlarıyla yalnızca Meta LLama 3.1 8b NIM ve CLIP modelleri desteklenecek.
  
• Model yanında bulunan “indir (download)” simgesine tıklayarak diğer AI modellerini de indirebilirsiniz. Model adının altında, modeli indirmek için gereken disk depolama alanı bilgisi görünecek.
  
• Model indirildikten sonra, model adının yanında bir “yükle (install)” seçeneği göreceksiniz. Hemen buna tıklayarak modeli yükleme işlemini gerçekleyebilirsiniz. İşlemi gerçekleştirdiğinizde sohbeti sıfırlayacak ve mevcut model yeni yüklenen modelle değişecek. İlaveten, her modelin boyutunun farklı olduğunu hatırlatalım.

ChatRTX, söylediğimiz gibi ek geliştirmelerle genel dil modeli çerçevesine dayanan açık iki dilli (İngilizce ve Çince) büyük dil modeli ChatGLM3’ü destekliyor. Ayrıca OpenAI’ın Contrastive Language–Image Pre-training (CLIP) özelliği de eklenerek yerel fotoğraf verileriyle etkileşim ve arama işlevselliği sağlanmıştı. Böylelikle modelin görüntü tanıma konusunda eğitilmesi mümkün hale getirildi. ChatRTX’i geliştirmeye devam eden NVIDIA, sesli sorguları da desteklemek için sesli komutlarla veri aramalarını kolaylaştıran bir AI konuşma tanıma sistemi olan Whisper’ın entegrasyonunu da yapmıştı.

ChatRTX vs ChatGPT

Elbet ChatGPT ve ChatRTX aynı sıklette değil, yani doğrudan rakip değiller. Ancak biz yine de en çok kullanılan yapay zeka olan ChatGPT ile temel farkları gösterelim istedik:

ChatRTX sistem gereksinimleri

• Ekran kartı: ChatRTX şu anda en az 8 GB GPU belleğine sahip GeForce RTX 3000, RTX 4000 Serisi ekran kartları ve en az 16 GB GPU belleğine sahip RTX 5000 Serisi GPU’lar (RTX 5080 ve RTX 5090 ile sınırlı) ile uyumlu. Ayrıca vGPU yapılandırmaları şu anda desteklenmiyor. ChatRTX’i NVIDIA NIM ile kullanmak için en az 16 GB GPU belleğine sahip RTX 4000 (RTX 4080 veya RTX 4090 masaüstü GPU şart), RTX 5000 (RTX 5080 veya RTX 5090 masaüstü GPU şart) veya RTX 6000 Ada GPU gerekli.
• Disk alanı: 70 GB boş disk alanına sahip olduğunuzdan emin olun. Disk alanı gereksinimleri, sistem yapılandırmasına ve yüklü modellere göre değişebilir.
• İşletim sistemi: Windows 11 Sürüm 23H2 veya 24H2. Yeni güncellemeler geldiyse, en güncel sürümde olmanız öneriliyor.
• Sürücü: GPU sürücü sürümü 572.16 veya üzeri.