RTX 4070 Super 12 GB ekran kartına sahibim ve bu ChatRTX'i yaklaşık bir haftadır deneyimliyorum. Şunu rahat söyleyebilirim ki benim kartımda çok rahat çalışıyor ama model anlamında iş görecek güçte değil. Model olarak Mistral 7B kuruluyor; ChatGLM (Çince destekli) ve OpenAI Clip (resim desteği) de seçebilirsiniz. Normalde girdi olarak metin ve ses kabul ediyor, çıktısı sadece metin oluyor. İşlem olarak modelin kendi bilgisi veya RAG (docx, TXT, PDF destekliyor ve bence TXT uzantılı csv de olur) kullanabiliyorsunuz. Kullanmak istediğiniz dosyaları bir klasöre atıp uygulamadan klasörü seçiyorsunuz.
@Shyankh'ın da dediği gibi, sadece RTX kartlarda çalışıyor. MX kartlı cihazımda denedim ve kurulumda hata verdi. Özelleştirme konusunda kendiniz yönlendirebilirsiniz ama Custom prompt gibi şeyler yok. Deneyin, eğer işinizi görmezse önerim kesinlikle
LM Studio. LM Studio için RTX ekran kartı gerekmiyor, her türlü bilgisayara kurabilirsiniz. Model konusunda sınırlaması yok, resmi ve topluluğun ürettiği neredeyse her modeli indirebiliyor. Model olarak LLama 3.1 öneririm. Bilgisyarınızın özelliklerini bilmiyorum ama eğer laptop ise ve ısınma sorunu varsa Qwen2 1.5B'ye de bakabilirsiniz. Bildiğim en hafif model SmoLLM 0.3B, düşük seviye telefonda bile çok rahat çalışabiliyor ama context window diğerlerine oranla çok daha düşük olduğundan sorun yaşatabilir. LM Studio'da ChatRTX'teki gibi docx, PDF ve TXT desteğinin yanında uygulamanın kendisi Csv'yi de destekliyor. Excel dosyalarınızı csv kopyası olarak kaydederseniz onları da işin içine katabilirsiniz. Son olarak (bu hepsi için geçerli) hangi modeli, hangi servisi kullanırsanız kullanın her zaman sıkıntılı cevap verme ihtimali var. Yapay zekadan güvenilir cevap almanız için soruyu uygun, mümkün olduğunca anlaşılır ve seçenekler arasında seçmeye yönelik sormanız lazım. Eğer elinizde saf veri varsa ve modeli kendiniz eğitebiliyorsanız en stabil cevabı alabilirsiniz. Bu tarz metin tabanlı modellerde analiz yaptırmanın hata oranı nispeten daha fazladır. Ekstra olarak, Reddit'te mesajın bilgi-soru-yöntem sıraları ile yazıldığında daha iyi cevaplar alındığını görmüştüm. Daha detaylı yardımcı olmam için bilgisayarınızın özelliklerini paylaşabilirsiniz. Aklınızda bir soru varsa yardımcı olmaya çalışırım.
