Ollama local neden saçmalıyor?

yagzz94

Hectopat
Katılım
9 Ocak 2021
Mesajlar
25
Daha fazla  
Cinsiyet
Erkek


Uncensored modellerin saçmaladığını ve biraz eksik testler gibi şeylerden dolayı böyle olduğunu biliyorum ama çoğu model böyle oluyor, DeepSeek-r1 de denedim.
 
Eki Görüntüle 2489806

Uncensored modellerin saçmaladığını ve biraz eksik testler gibi şeylerden dolayı böyle olduğunu biliyorum ama çoğu model böyle oluyor, DeepSeek-r1 de denedim.

Kaç b bir model ki? Ayrıca Türkçesi var. Eğer özel olarak siz eğitmediyseniz 1-14 b arası modeller şimdilik kullanışlı değil ayrıca düşünme tokenleri yok şu anda ekrandaki modelde bu yüzden saçma cevaplar veriyor. Llama modelleri için cevap vermek her şeyden önemli "bilmiyorum" diyemiyorlar siz ona "Ankara nerenin başkenti" diyorsunuz ama bu bilgiye sahip değil o an rastgele bir ülke adı sallıyor çünkü llama modelleri cevap verdikçe ödüllendirilmiş modeller

Türkçenin var olması bile ekstradan model ağırlığı ekliyor ve öyle bilgi anlamında aşırı zengin olamıyor o yüzden Türkçesi olduğunu vurguladım
 

Resimdeki 7B modeli. DeepSeek-R1 1.5B modelinde de öyle oluyor. 14B modeli yüklüyorum bunda da aynısı olur mu? Bir de Türkçe modeller demişsiniz hocam link paylaşabilir misiniz?

12 GB ekran kartı / 32 GB RAM var kaç B boyutunda bir model çalıştırmalıyım sizce?
 

Hocam Max 30 b Q6 açabilirsiniz biraz ağır olur ama çalışır. DeepSeek-r1:14b-qwen-distill-F/P16 modelini RAM boyutunuz sayesinde çalıştırabilirsiniz tabii ChatGPT gibi anında yazılar vermez ama sansürsüz model bulmanız biraz daha zor. Çok daha büyük bir model çalıştırmak istiyorsanız RAM swap yapmanız lazım ki süreler en az 100-1000 katına çıkar önermem 14 b F/P16 sizin için iyi olacaktır

12 GB VRAM, 16 GB RAM, 20 GB NVMe RAM swap ile 30 b F/P16 açabiliyorum ama aşırı verimsiz ve uzun sürüyor 2-3 tane NVMe SSD niz varsa RAID 0 ile 20-30 GB alan ayarlayıp öyle RAM atayabilirsiniz belki ama yine de o kadar ilerlemek yerine RAM almak daha mantıklı olur
 
Bu siteyi kullanmak için çerezler gereklidir. Siteyi kullanmaya devam etmek için çerezleri kabul etmelisiniz. Daha Fazlasını Öğren.…