Janus-Pro-7b için ucuz GPU önerisi

Selamlar, başlıktaki yeni DeepSeek modeli için bir sürü GPU önerilmiş fakat VRAM bazında hepsi yetersiz. En ucuz opsiyon olarak M4 Mac mini çıkıyor ve bayağı iyi bir opsiyon ama geliştirme anlamında geleceği olmadığından uzak duruyorum şimdilik. RX 7600XT veya ikinci el 6800 XT 16 GB VRAM olduğundan iyi gibi gibiler. İkinci el NVIDIA eşleniği var mı ucuz denilebilecek ya da alternatif var mı?

RX 6000 serisine bulaşma, oyun oynatmak dışında pek bir işe yaramıyorlar. PlayStation GPU'su olarak geliştirildi RDNA 1 ve 2.

RX 7600 XT'nin Linux'ta resmi ROCm desteği yok ama LLM'ler için Vulkan ile de çalıştırabilirsiniz. Ama ROCm desteği sıkıntılı olduğu için pek önermem.

Nvidia tarafında RTX 4060 Ti 16 GB ve RTX 3060 Ti 12 GB var.

Intel tarafında A770 16 GB ve B580 12 GB var. Bunları ya SYCL ya da Vulkan ile çalıştırabilirsiniz.

Bütçeyi zorlayabilirseniz ikinci el RTX 3090 veya RX 7900 XTX daha iyi olur.

3080 Ti alın geçin.

Disty dedi:

RX 6000 serisine bulaşma, oyun oynatmak dışında pek bir işe yaramıyorlar. PlayStation GPU'su olarak geliştirildi RDNA 1 ve 2.

RX 7600 XT'nin Linux'ta resmi ROCm desteği yok ama LLM'ler için Vulkan ile de çalıştırabilirsiniz. Ama ROCm desteği sıkıntılı olduğu için pek önermem.

Nvidia tarafında RTX 4060 Ti 16 GB ve RTX 3060 Ti 12 GB var.

Intel tarafında A770 16 GB ve B580 12 GB var. Bunları ya SYCL ya da Vulkan ile çalıştırabilirsiniz.

Bütçeyi zorlayabilirseniz ikinci el RTX 3090 veya RX 7900 XTX daha iyi olur.

Genişletmek için tıkla...

a770 zayıf biraz, tps değeri kötü. b580 aklımdaydı ama çok yeni kartlar. Optimizasyon açısından şüphelerim var açıkçası. Yine de bakmak lazım.

Sheazel dedi:

a770 zayıf biraz, tps değeri kötü. b580 aklımdaydı ama çok yeni kartlar. Optimizasyon açısından şüphelerim var açıkçası. Yine de bakmak lazım.

Genişletmek için tıkla...

Öte yandan 4060ti'ın 16gb versiyonu olduğunu bilmiyordum. İzmir'de yaşıyorum, il içerisinde 20kya 1 tane ilan var sadece ama aklımda olacak o.

Yunus1176 dedi:

3080 Ti alın geçin.

Genişletmek için tıkla...

Aklıma gelmemişti piyasası da iyi gözüküyor fakat 13k 14k döküp 12gb vram alacaksam 2 tane 3070 sli daha mantıklı oluyor gibi. Sağolasın.

Burayı hortlatıyorum yine okuyan olursa kaynak olması için. B580 14b parametreli deepseek modelinde tam bir facia 14tps anca alıyor. İkili b580 deneyen tek kişi var ama uyumluluk sorunları hat safhada. Öte yandan rx 6800 üstte belirtildiği üzere kötü ve tam olarak utilize olmuyor, aynı şey 7600xt ve daha üst kartlar için de geçerli. ROCm desteği linuxte rezil ötesi ve başka frameworkler ile LLM ilklendirmek performans kayıplarına yol açıyor. NVIDIA her haltın CUDA ile yazılmasından mütevellit en sorunsuzu ve vram konusunda bir o kadar dert yaratmasından dolayı ülke şartlarında iki tane RTX 3060 12gb en ucuz 32b modeli açabilecek en ucuz opsiyon. Sıkıldığında tanesini 7000'e alabiliyorsunuz ve sli bridge olmadan da çalışıyorlar. Utilization sorunu yok. 14b ve daha düşük parametreli modeller için windows makineler ise saçmalık. m4 mac mini geri kalan herşeyi kaldırıyor. Buraya kaynak olsun. Multi AI agent sistem olarak geliştirmeye çalıştığım şey ufak da olsa logical reasoning gerektirdiğinden 32b parametre aşağısına ben inemedim. Kod yazmak gibi işler zaten phi-4 tarafından her model klasmanında da alt edilmiş durumda. Eğer basit agentlar yaratmak istiyorsanız gpu filan almayın direkt düşük gpular ile takılın. İçimi döktüm buraya, belki lazım olur