Ollama local neden saçmalıyor?

yagzz94 · 13 Mayıs 2025

Uncensored modellerin saçmaladığını ve biraz eksik testler gibi şeylerden dolayı böyle olduğunu biliyorum ama çoğu model böyle oluyor, DeepSeek-r1 de denedim.

Chiya · 13 Mayıs 2025

yagzz94 dedi:
Eki Görüntüle 2489806

Uncensored modellerin saçmaladığını ve biraz eksik testler gibi şeylerden dolayı böyle olduğunu biliyorum ama çoğu model böyle oluyor, DeepSeek-r1 de denedim.

Kaç b bir model ki? Ayrıca Türkçesi var. Eğer özel olarak siz eğitmediyseniz 1-14 b arası modeller şimdilik kullanışlı değil ayrıca düşünme tokenleri yok şu anda ekrandaki modelde bu yüzden saçma cevaplar veriyor. Llama modelleri için cevap vermek her şeyden önemli "bilmiyorum" diyemiyorlar siz ona "Ankara nerenin başkenti" diyorsunuz ama bu bilgiye sahip değil o an rastgele bir ülke adı sallıyor çünkü llama modelleri cevap verdikçe ödüllendirilmiş modeller

Türkçenin var olması bile ekstradan model ağırlığı ekliyor ve öyle bilgi anlamında aşırı zengin olamıyor o yüzden Türkçesi olduğunu vurguladım

yagzz94 · 13 Mayıs 2025

Chiya dedi:
Kaç b bir model ki? Ayrıca Türkçesi var. Eğer özel olarak siz eğitmediyseniz 1-14 b arası modeller şimdilik kullanışlı değil ayrıca düşünme tokenleri yok şu anda ekrandaki modelde bu yüzden saçma cevaplar veriyor. Llama modelleri için cevap vermek her şeyden önemli "bilmiyorum" diyemiyorlar siz ona "Ankara nerenin başkenti" diyorsunuz ama bu bilgiye sahip değil o an rastgele bir ülke adı sallıyor çünkü llama modelleri cevap verdikçe ödüllendirilmiş modeller

Türkçenin var olması bile ekstradan model ağırlığı ekliyor ve öyle bilgi anlamında aşırı zengin olamıyor o yüzden Türkçesi olduğunu vurguladım

Resimdeki 7B modeli. DeepSeek-R1 1.5B modelinde de öyle oluyor. 14B modeli yüklüyorum bunda da aynısı olur mu? Bir de Türkçe modeller demişsiniz hocam link paylaşabilir misiniz?

12 GB ekran kartı / 32 GB RAM var kaç B boyutunda bir model çalıştırmalıyım sizce?

Chiya · 13 Mayıs 2025

yagzz94 dedi:
Resimdeki 7B modeli. DeepSeek-R1 1.5B modelinde de öyle oluyor. 14B modeli yüklüyorum bunda da aynısı olur mu? Bir de Türkçe modeller demişsiniz hocam link paylaşabilir misiniz?

12 GB ekran kartı / 32 GB RAM var kaç B boyutunda bir model çalıştırmalıyım sizce?

Hocam Max 30 b Q6 açabilirsiniz biraz ağır olur ama çalışır. DeepSeek-r1:14b-qwen-distill-F/P16 modelini RAM boyutunuz sayesinde çalıştırabilirsiniz tabii ChatGPT gibi anında yazılar vermez ama sansürsüz model bulmanız biraz daha zor. Çok daha büyük bir model çalıştırmak istiyorsanız RAM swap yapmanız lazım ki süreler en az 100-1000 katına çıkar önermem 14 b F/P16 sizin için iyi olacaktır

12 GB VRAM, 16 GB RAM, 20 GB NVMe RAM swap ile 30 b F/P16 açabiliyorum ama aşırı verimsiz ve uzun sürüyor 2-3 tane NVMe SSD niz varsa RAID 0 ile 20-30 GB alan ayarlayıp öyle RAM atayabilirsiniz belki ama yine de o kadar ilerlemek yerine RAM almak daha mantıklı olur

Ollama local neden saçmalıyor?

Ayrıntılı düzenleme

yagzz94

Hectopat

Chiya

Hectopat

yagzz94

Hectopat

Chiya

Hectopat

Benzer konular

Technopat Haberler

Yeni konular

Yeni mesajlar

Gizliliğinize önem veriyoruz