Evet. 30 veya 40 serisi olmalı ve en az 8 GB VRAM olmalı, sistem gereksinimlerinde bu şekilde belirtilmiş, daha altı sistemlerde açılmama gibi bir durum var mı bilmiyorum.
Normal chat GPT gibi ama sistemin bileşenlerini kullanıyor, bu yüzden ne kadar iyi sistemin varsa geri dönüşleri, hızı o kadar iyi olur.
RTX 4070 Super 12 GB ekran kartına sahibim ve bu ChatRTX'i yaklaşık bir haftadır deneyimliyorum. Şunu rahat söyleyebilirim ki benim kartımda çok rahat çalışıyor ama model anlamında iş görecek güçte değil. Model olarak Mistral 7B kuruluyor; ChatGLM (Çince destekli) ve OpenAI Clip (resim desteği) de seçebilirsiniz. Normalde girdi olarak metin ve ses kabul ediyor, çıktısı sadece metin oluyor. İşlem olarak modelin kendi bilgisi veya RAG (docx, TXT, PDF destekliyor ve bence TXT uzantılı csv de olur) kullanabiliyorsunuz. Kullanmak istediğiniz dosyaları bir klasöre atıp uygulamadan klasörü seçiyorsunuz. @Shyankh'ın da dediği gibi, sadece RTX kartlarda çalışıyor. MX kartlı cihazımda denedim ve kurulumda hata verdi. Özelleştirme konusunda kendiniz yönlendirebilirsiniz ama Custom prompt gibi şeyler yok. Deneyin, eğer işinizi görmezse önerim kesinlikle LM Studio. LM Studio için RTX ekran kartı gerekmiyor, her türlü bilgisayara kurabilirsiniz. Model konusunda sınırlaması yok, resmi ve topluluğun ürettiği neredeyse her modeli indirebiliyor. Model olarak LLama 3.1 öneririm. Bilgisyarınızın özelliklerini bilmiyorum ama eğer laptop ise ve ısınma sorunu varsa Qwen2 1.5B'ye de bakabilirsiniz. Bildiğim en hafif model SmoLLM 0.3B, düşük seviye telefonda bile çok rahat çalışabiliyor ama context window diğerlerine oranla çok daha düşük olduğundan sorun yaşatabilir. LM Studio'da ChatRTX'teki gibi docx, PDF ve TXT desteğinin yanında uygulamanın kendisi Csv'yi de destekliyor. Excel dosyalarınızı csv kopyası olarak kaydederseniz onları da işin içine katabilirsiniz. Son olarak (bu hepsi için geçerli) hangi modeli, hangi servisi kullanırsanız kullanın her zaman sıkıntılı cevap verme ihtimali var. Yapay zekadan güvenilir cevap almanız için soruyu uygun, mümkün olduğunca anlaşılır ve seçenekler arasında seçmeye yönelik sormanız lazım. Eğer elinizde saf veri varsa ve modeli kendiniz eğitebiliyorsanız en stabil cevabı alabilirsiniz. Bu tarz metin tabanlı modellerde analiz yaptırmanın hata oranı nispeten daha fazladır. Ekstra olarak, Reddit'te mesajın bilgi-soru-yöntem sıraları ile yazıldığında daha iyi cevaplar alındığını görmüştüm. Daha detaylı yardımcı olmam için bilgisayarınızın özelliklerini paylaşabilirsiniz. Aklınızda bir soru varsa yardımcı olmaya çalışırım.
ChatRTX'in 4GB VRAM ile çalışacağını çok sanmıyorum. Açılsa bile en azından Mistral modeli performans sorunu yaşatır. Bu konuda önceki bahsettiğimi genişleterek şu öneriyi getirebilirim: Modellerin dosya boyutu yaklaşık olarak VRAM'in yarısı kadar veya daha düşükse LM Studio'da "Full GPU Offload" diye geçen, modelin tamamının VRAM'e kopyalandığı ve işlemci RAM'den bağımsız olarak çalıştığı olay gerçekleşiyor. Aksi durumlarda ise "Partial GPU Offload" diye geçen, çıktı üretilirken modelin parça parça yüklendiği ve performans olarak diğerine göre daha zayıf kalan bir şey söz konusu.Hocam öncelikle yanıtınız ve yardımseverliğiniz için teşekkür ederim. Bilgisayarım da RTX 3050 mobil bulunuyor, işlemci olarak da i5 12500H var. Tahminimce çok iyi sonuçlar vermez ama yine de idare eder sonuçlar verebilir (VRAM 4 GB olduğu için sorun yaşama ihtimalim var).
Ben çoğunlukla hazır modellerle ilgilendiğim için eğitme ve fine tune ile özelleştirme hakkında derin bilgim yok ama bu konuda da şunları önerebilirim: HuggingFace'in AutoTrain diye bir özelliği var. Tamamen online çalışıyor. İşe yarar gibi görünüyor ama yine de etkili bir sonuç almak istiyorsanız biraz bu konulara aşina olmanız lazım. Eğer Linux deneyiminiz varsa bu yazılıma da bir göz atabilirsiniz: H2O LLM Studio. Daha kolay bir alternatif istiyorsanız Google AI Studio var. Çok temel ve anlaşılır, kullanım açısından kolaydır ama ilk mesajınızda dediğiniz gibi bir kısıtlama olabilir. Diğer iki yazılımda model kontrolü tamamen sizde olur, istediğiniz yerde istediğiniz modeli eğitip istediğiniz şekilde çalıştırabilirsiniz ama Google AI Studio'da o esneklik olmaz.Ayrıca farklı konular için eğitebilme ihtimalim olursa daha iyi olur çünkü bildiğim kadarıyla özelleştirme durumlarında veri setine bağlı olarak doğruluk çok daha fazla oluyor. Fakat bir sorun var hocam, ben sadece giriş seviyesi Python biliyorum o da unutmaya yüz tuttu gibi bir şey. Yazılım bilgisi olmadan veri setleri hazırlayıp ya da bulup modeli eğitebilir miyim?
Merhaba. Elimde bulunan dosyaların ve verilerin analizi için yapay zeka kullanmak istiyorum fakat ChatGPT'deki kısıtlamalar yüzünden istediğim kadar dosya yükleyemiyorum. Dosya limiti çok az olmayan ve veri analizinde başarılı yapay zeka öneriniz var mı? Ücretli olanlarda olabilir fakat uçuk fiyatlarda olmaması şartıyla. Şimdiden teşekkür ederim.
Arkadaşım lokal yapay zeka modelleri indirmeyi bana öğretmişti. GTX1660 Ti laptopumda çalışmıştı gayet. Bence bu yapay zekalara para vermek çok saçma.
Hangi modellerdi?Arkadaşım lokal yapay zeka modelleri indirmeyi bana öğretmişti. GTX1660 Ti laptopumda çalışmıştı gayet. Bence bu yapay zekalara para vermek çok saçma.
Hangi modellerdi?
Hocam baktım Ollama diye bir şey var facebook'un bilgisayarınızda internetsiz çalışan bir yapay zeka bildiğiniz. PC'niz kötüyse tabii ki çalışmaz fakat oyuncu bilgisayarınız varsa yarar araştırın bakın zararı yoktur. OllamaHangi modellerdi?
Ollama sadece Meta'nın modellerini değil, diğer modelleri de çalıştırabiliyor. Modelleri çalıştırmak için kullandığı kütüphane olan llama.cpp'den dolayı adı öyle. Phi, Gemma gibi diğer yapıları da destekliyor. Uygulamanın kendisi aslında sunucu yazılımı, maalesef son kullanıcıya doğrudan hitap etmiyor. İçinde terminal bazlı bir arayüz var ama günlük kullanıma uygun değil. Uğraşarak açık kaynak arayüz de kurabilirsiniz ama bildiğim kadarıyla sadece Linux'ta destekliyor. Bu yazılımı kullanmak için ekstradan istemci kurmanız lazım. Benim en çok hoşuma giden ChatBox var. Onun dışında Maid de güzel ama bazı bugları aşırı sinir bozucu olabiliyor. Bunların dışında MacOS için birkaç tane uygulama var. Ben de bir süredir Windows için entegre (Dosyalar, Ayarlar vb.) istemci geliştirmeyi deniyorum, kullanılabilir bir seviyeye geldiğinde onu da paylaşabilirim. Performans açısından yazılımın kendisi hafif, Raspberry Pi gibi cihazlarda bile rahat çalışıyor. Ben de birkaç aydır uygun bir modelle Raspberry Pi 4 üzerinde aktif olarak akıllı ev sistemine entegre kullanıyorum. Şu anlık işini iyi yapıyor diyebilirim.Hocam baktım Ollama diye bir şey var facebook'un bilgisayarınızda internetsiz çalışan bir yapay zeka bildiğiniz. PC'niz kötüyse tabii ki çalışmaz fakat oyuncu bilgisayarınız varsa yarar araştırın bakın zararı yoktur. Ollama
TinyLLama olabilir mi?Llama'nın modlanmış sürümleriydi sanırsam.
Ollama sadece Meta'nın modellerini değil, diğer modelleri de çalıştırabiliyor. Modelleri çalıştırmak için kullandığı kütüphane olan llama.cpp'den dolayı adı öyle. Phi, Gemma gibi diğer yapıları da destekliyor. Uygulamanın kendisi aslında sunucu yazılımı, maalesef son kullanıcıya doğrudan hitap etmiyor. İçinde terminal bazlı bir arayüz var ama günlük kullanıma uygun değil. Uğraşarak açık kaynak arayüz de kurabilirsiniz ama bildiğim kadarıyla sadece Linux'ta destekliyor. Bu yazılımı kullanmak için ekstradan istemci kurmanız lazım. Benim en çok hoşuma giden ChatBox var. Onun dışında Maid de güzel ama bazı bugları aşırı sinir bozucu olabiliyor. Bunların dışında macOS için birkaç tane uygulama var. Ben de bir süredir Windows için entegre (Dosyalar, Ayarlar vb.) İstemci geliştirmeyi deniyorum, kullanılabilir bir seviyeye geldiğinde onu da paylaşabilirim. Performans açısından yazılımın kendisi hafif, Raspberry Pi gibi cihazlarda bile rahat çalışıyor. Ben de birkaç aydır uygun bir modelle Raspberry Pi 4 üzerinde aktif olarak akıllı ev sistemine entegre kullanıyorum. Şu anlık işini iyi yapıyor diyebilirim.
TinyLLama olabilir mi?