AI için RTX 3090 24 GB VRAM vs 5060 Ti 16 GB VRAM

Bütçe
30000

queresse

Hectopat
Katılım
29 Eylül 2022
Mesajlar
4
Daha fazla  
Cinsiyet
Diğer
Öncelikle şunu net bir şekilde belirtmek istiyorum:
Kısa süre önce RTX 4060 Ti 16 GB bir ekran kartı aldım ancak zamanla bunun benim kullanım senaryom için hatalı bir tercih olduğunu fark ettim. Çünkü benim oyunla, DLSS sürümleriyle, enerji verimliliğiyle veya FPS artışıyla hiçbir ilgim yok. Ekran kartını tamamen yapay zeka çalışmaları için kullanıyorum. Dolayısıyla düşük watt tüketimi, DLSS 3/4/5 gibi özellikler veya oyun performansı benim için hiçbir anlam ifade etmiyor.
Benim için önemli olan kriterler çok net:
  • VRAM kapasitesi
  • Bellek veri yolu (bit genişliği)
  • Bellek bant genişliği
  • Ham hesap gücü (CUDA çekirdeği)
  • Büyük ve video tabanlı AI modellerini ayar kısmadan, stabil şekilde çalıştırabilmek
Bu çerçevede baktığımda, mining yapılmış olsa bile RTX 3090, sahip olduğu:
  • 24 GB VRAM
  • 384-bit bellek veri yolu
  • 10.496 CUDA çekirdeği
  • Yaklaşık 936 GB/s bellek bant genişliği
ile; 16 GB VRAM’e ve daha dar bellek yoluna sahip RTX 4060 / 4060 Ti / 4070 / 4080 hatta ileride çıkacak RTX 5080 gibi kartlara kıyasla, yapay zeka tarafında hâlâ çok ciddi ve pratik bir üstünlük sunuyor.
Burada insanların sıkça yaptığı bir hataya dikkat çekmek istiyorum. Yeni nesil ekran kartlarının otomatik olarak her alanda daha iyi olduğu varsayılıyor. Oysa yapay zeka tarafında belirleyici olan şey:
DLSS, güç tüketimi veya mimari yenilikler değil; VRAM kapasitesi ve bellek altyapısıdır.
Bunu kendi sistemimde, birebir gerçek kullanım senaryosunda çok net şekilde tecrübe ediyorum.

Kullandığım sistem bileşenleri​

  • Anakart: B460
  • İşlemci: Intel i5-10400
  • RAM: 32 GB DDR4
  • Depolama: 1 adet SATA SSD + 1 adet HDD
  • Ekran Kartı: RTX 4060 Ti 16 GB
Bu sistemle WAN 2.2 GGUF modelleri üzerinde çalışıyorum. Kullandığım quantization seviyesi Q5_S. Daha düşük quantization seviyelerini özellikle belirtmek isterim ki kullanmıyorum, çünkü Q5 seviyesinin altındaki modeller, hem görsel kalite hem de tutarlılık açısından benim kullanımımda gerçekten baş ağrıtan ve pratikte kullanılmayacak seviyede sorunlu sonuçlar üretiyor.
Kullandığım senaryoda:
  • SDXL tabanlı
  • En az 1024×1024 çözünürlükte
  • 16 FPS
  • 5 saniye uzunluğunda (yaklaşık 80 frame)
bir video üretimi yapıyorum. Bu ayarlarda tek bir render süresinin ortalama 300 saniye ve üzerinde olduğunu net şekilde gözlemledim.
Ancak burada çok kritik bir detay daha var:
Eğer aynı anda birden fazla video üst üste render alınırsa, yani GPU ve VRAM sürekli yük altında tutulursa, render süresi pratikte 2–3 katına kadar çıkabiliyor. Yani tek başına 300 saniye süren bir iş, üst üste render’larda 800–900 saniyeleri rahatlıkla görebiliyor. Bu durum, VRAM’in sınırda kullanılmasından ve sistemin RAM/pagefile’a düşmesinden kaynaklanıyor.
İşte tam bu noktada 16 GB VRAM’in sınırları çok net şekilde ortaya çıkıyor. Model VRAM’e zar zor sığıyor; ufak bir yük artışında veya paralel işte sistem:
  • RAM’e düşüyor
  • PCIe üzerinden veri taşıyor
  • Stabilite azalıyor
  • Render süresi katlanarak artıyor
Bu yüzden kağıt üzerinde daha yeni veya daha güçlü görünen kartlar, pratikte AI iş yüklerinde beklenen performansı veremeyebiliyor.
Örneğin RTX 4080 veya konuşulan RTX 5080 gibi kartlar, CUDA çekirdeği sayısı benzer veya daha yüksek olsa bile 16 GB VRAM ve daha dar bellek yolu nedeniyle, bu tarz GGUF ve video tabanlı AI işlerinde çok daha erken sınıra dayanıyor. Buna karşın RTX 3090, mimarisi daha eski olmasına rağmen 24 GB VRAM + 384-bit bellek yolu sayesinde bu yükleri çok daha rahat ve stabil şekilde kaldırabiliyor.
Bu yüzden “3090 mining yapılmış, alınmaz” gibi genellemeleri doğru bulmuyorum. Doğru kullanılmış ve aşırı ısıya maruz kalmamış bir mining kartı, yapay zeka kullanımında hâlâ çok güçlü ve mantıklı bir seçenek olabiliyor.
Beni asıl düşündüren nokta ise şu:
Bir kullanıcının RTX 3090 ekran kartını RTX 5060 / 5060 Ti gibi 16 GB VRAM’li bir kartla takas ettiğini söylemesi. Açıkçası yapay zeka odaklı baktığımda bu bana pek mantıklı gelmiyor. Bu noktada insan ister istemez şu soruyu soruyor:
Bu RTX 3090 ne kadar zarar görmüş olabilir ki böyle bir takas kabul edilmiş?
Kartı alan tarafın “bilgisayarcı” olduğunu iddia etmesi de kafamdaki soru işaretlerini artırıyor. Çünkü teknik olarak bakıldığında, AI ile uğraşan birinin 24 GB VRAM ve 384-bit bellek yoluna sahip bir kartı, daha düşük VRAM’li bir kartla değiştirmesi pek rasyonel görünmüyor.
Bu nedenle gerçekten merak ediyorum:
Bu tarz bir takas sizce nasıl mümkün olabilir?
Burada benim gözden kaçırdığım teknik, ticari veya pratik bir detay mı var?

Eğer istersen:
  • Buna daha sert ve tartışma başlatan bir ton ekleyebilirim
  • Ya da daha teknik, tablo ve sayılarla boğan bir versiyonunu da hazırlayabilirim
Ama şu hâliyle bu metin, forumda “bu adam ne dediğini biliyor” izlenimi verir.

tabloyu eklemedin ama karşılaştırmalar hepsi birlikte şu ana kadar ne dediysem kısaltmadan yaz bana

Haklısın; bu sefer hiçbir şeyi kısaltmadan, şimdiye kadar söylediğin her şeyi tek metinde, tabloyu da ekleyerek, forumda direkt paylaşılabilecek tam ve uzun hâliyle yazıyorum. Aşağıdaki metin nihai versiyon gibi düşünebilirsin.

Öncelikle şunu net bir şekilde belirtmek istiyorum:
Kısa süre önce RTX 4060 Ti 16 GB bir ekran kartı aldım ancak zamanla bunun benim kullanım senaryom için hatalı bir tercih olduğunu fark ettim. Çünkü benim oyunla, DLSS sürümleriyle, FPS artışıyla veya güç verimliliğiyle hiçbir ilgim yok. Bu ekran kartını tamamen yapay zeka çalışmaları için kullanıyorum. Dolayısıyla “daha az güç tüketiyor”, “yeni DLSS var”, “oyunda daha hızlı” gibi argümanlar benim için hiçbir anlam ifade etmiyor.
Benim için belirleyici olan kriterler çok net:
  • VRAM kapasitesi
  • Bellek veri yolu (bit genişliği)
  • Bellek bant genişliği
  • Ham hesap gücü (CUDA çekirdeği)
  • Büyük ve video tabanlı AI modellerini ayar kısmadan ve stabil şekilde çalıştırabilmek
Bu çerçeveden baktığımda, mining yapılmış olsa bile RTX 3090, sahip olduğu:
  • 24 GB VRAM
  • 384-bit bellek veri yolu
  • 10.496 CUDA çekirdeği
  • Yaklaşık 936 GB/s bellek bant genişliği
ile; 16 GB VRAM’e ve daha dar bellek yoluna sahip RTX 4060 / 4060 Ti / 4070 / 4080 hatta ileride çıkacak RTX 5080 gibi kartlara kıyasla, yapay zeka tarafında hâlâ çok ciddi ve pratik bir üstünlük sunuyor.
Burada insanların sık yaptığı temel bir hata var:
Yeni nesil ekran kartlarının otomatik olarak her alanda daha iyi olduğu varsayılıyor. Oysa yapay zeka tarafında performansı belirleyen şey:
DLSS, güç verimliliği veya oyun performansı değil; doğrudan VRAM kapasitesi ve bellek altyapısıdır.
Bunu kendi sistemimde, birebir gerçek kullanım senaryosunda çok net şekilde tecrübe ediyorum.

Kullandığım sistem bileşenleri​

  • Anakart: B460
  • İşlemci: Intel i5-10400
  • RAM: 64 GB DDR4
  • Depolama: 1 adet SATA SSD + 1 adet HDD
  • Ekran Kartı: RTX 4060 Ti 16 GB (mevcut kartım)
Bu sistemle WAN 2.2 GGUF modelleri üzerinde çalışıyorum. Kullandığım quantization seviyesi Q5_S. Özellikle belirtmek isterim ki Q5 seviyesinin altındaki modeller, hem görsel kalite hem de tutarlılık açısından gerçekten kullanılmayacak kadar sorunlu oluyor. Bu yüzden Q5 ve üzeri benim için fiilî alt sınır.
Kullandığım üretim senaryosu şu şekilde:
  • SDXL tabanlı
  • En az 1024×1024 çözünürlük
  • 16 FPS
  • 5 saniye uzunluk (yaklaşık 80 frame)
Bu ayarlarda tek bir videonun render süresi ortalama 300 saniye ve üzeri. Ancak kritik nokta şu:
Eğer birden fazla video üst üste render alınırsa, yani GPU ve VRAM sürekli dolu tutulursa, render süresi pratikte 2–3 katına kadar çıkabiliyor. Yani 300 saniyelik bir iş, üst üste çalışmada 800–900 saniyeleri rahatlıkla görebiliyor.
Bu durum tamamen VRAM’in sınırda çalışmasından kaynaklanıyor. Model VRAM’e zar zor sığıyor; ufak bir yük artışında sistem:
  • RAM’e düşüyor
  • PCIe üzerinden veri taşıyor
  • Stabilite azalıyor
  • Render süresi katlanarak artıyor
İşte tam bu noktada 16 GB VRAM’in gerçek hayattaki sınırı çok net şekilde ortaya çıkıyor.
Örneğin RTX 4080 veya konuşulan RTX 5080 gibi kartlar, CUDA çekirdeği sayısı benzer ya da daha yüksek olsa bile 16 GB VRAM ve daha dar bellek yolu nedeniyle bu tarz GGUF ve video tabanlı AI işlerinde çok daha erken tıkanıyor. Buna karşın RTX 3090, mimarisi daha eski olmasına rağmen 24 GB VRAM + 384-bit bellek yolu sayesinde bu yükleri çok daha rahat ve stabil şekilde kaldırabiliyor.
Burada özellikle altını çizmek isterim:
Evet, RTX 5080’in CUDA çekirdeği sayısı RTX 3090 ile benzer seviyede olabilir. Ancak 16 GB VRAM, onu yapay zeka kullanımında doğrudan sınırlayan ve bitiren faktör hâline getiriyor. CUDA sayısı kâğıt üzerinde güçlü görünse bile, model VRAM’e sığmadığı anda bütün avantaj ortadan kalkıyor.
Bu yüzden “3090 mining yapılmış, alınmaz” gibi genellemeleri doğru bulmuyorum. Doğru şekilde kullanılmış ve aşırı ısıya maruz kalmamış bir mining kartı, yapay zeka kullanımında hâlâ çok güçlü ve mantıklı bir seçenek olabiliyor.
Beni asıl düşündüren konu ise şu:
Bir kullanıcının RTX 3090 ekran kartını RTX 5080 / 5080 Ti gibi 16 GB VRAM’li bir kartla takas ettiğini söylemesi. Yapay zeka perspektifinden bakıldığında bu bana pek mantıklı gelmiyor. İnsan ister istemez şu soruyu soruyor:
Bu RTX 3090 ne kadar zarar görmüş olabilir ki böyle bir takas kabul edilmiş?
Kartı alan kişinin “bilgisayarcı” olduğunu iddia etmesi de kafamdaki soru işaretlerini artırıyor. Çünkü teknik olarak bakıldığında, AI ile uğraşan birinin 24 GB VRAM ve 384-bit bellek yoluna sahip bir kartı, daha düşük VRAM’li bir kartla değiştirmesi rasyonel görünmüyor.

CUDA çekirdeği ve bellek veri yolu karşılaştırması​

Aşağıdaki tabloyu özellikle eklemek istiyorum; çünkü kâğıt üzerindeki farkı çok net gösteriyor:
ModelCUDA ÇekirdeğiBellek Veri Yolu
RTX 40603.072128-bit
RTX 4060 Ti4.352128-bit
RTX 40705.888192-bit
RTX 4070 Ti7.680192-bit
RTX 40809.728256-bit
RTX 5060~4.500 (tahmini)128-bit
RTX 5060 Ti~5.500 (tahmini)128-bit
RTX 5070~7.000 (tahmini)192-bit
RTX 5070 Ti~8.500 (tahmini)192-bit
RTX 5080~10.000–11.000 (tahmini)256-bit
RTX 309010.496384-bit
Bu tabloya bakıldığında da çok net görülüyor ki, CUDA çekirdeği sayısı artsa bile VRAM kapasitesi ve bellek veri yolu artmadığı sürece, yapay zeka tarafında bu kartlar RTX 3090’un sunduğu rahatlığı ve stabiliteyi veremiyor.
Bu nedenle gerçekten merak ediyorum:
Bu tarz bir takas sizce nasıl mümkün olabilir?
Burada benim gözden kaçırdığım teknik, ticari veya pratik bir detay mı var?
 
Son düzenleme:
Vallahi bak şimdi qwen 3 14b var, GPT-oss 20b de var bunlar 16 GB 5080'de rahat çalışıyor. Yanıt süresi gayet düşük. Pytorch'a CUDA kullandırabildiğin için zaten rag yapmak kolay bir tek faiss ile veri eklerken CPU çok sıkıntı çıkarıyor. 9950x3D'yi ben bu yüzden satın aldım 5080'in yanına. Biraz arayüz vs ekleyince gayet güzel. 3090 CUDA çekirdekleri ve bellek veriyolu bakımından gayet yeterli işini görür.
 
5080 de bir zahmet çalışsın diyeceğim hocam ya ne diyeyim bilmiyorum. Zaten 64 GB RAM'in var gayet yeterli.
 

Bu konuyu görüntüleyen kullanıcılar

Technopat Haberler

Yeni konular

Geri
Yukarı