[Alındı] 30000 TL Intel i7 5960X 2-SLI GTX 1080 ASUS PG348Q Sistem

Merhaba,

Bu sistemde aslında süre sınırım yok. İstediğim zaman alabilirim ama tabii ne kadar erken alırsak o kadar iyi.

Sorulara gelecek olursak;
- Bir A.I. projesi için lokal Workstation oluşturmak istiyorum. Hayaller DGX-2 Enterprise, hayatlar Vatan Computer Aslında almak istediğim bu NVIDIA DGX-2: Enterprise AI Research System ama yaklaşık 400.000 USD fiyat çekilince biraz düşündürücü oluyor. Özelliklede kur 6 bandıydayken.



- Üzerinde çalışacak sistem Linux (Debian LTS) olacak. 5.4.18 çekirdeğini deneyeceğim eğer CUDA tarafında problem yaşarsam 4.19.102'ye downgrade ederim.
- Bunu development makinesi olarak düşünebilirsiniz. Asıl uygulamanın çalışacağı yer Private Cloud GPU-Farm olacak fakat benim öncesinde A.I. modellerini geliştirip, train ettirmem gerekiyor. Bu süreçte Tensor-Core'a da ihtiyacım var. RTX TITAN (576 Tensor Cores) yerine endüstriyel kartlara da baktım ama fiyat farkı 2 katın üzerinde ve büyük modeller için kendi GPU-Farm'mımız üzerinde de çalıştırabilirim.
- Bu şekilde bir sistem hedeflememin sebeplerinden biri de, ileri de daha fazla GPU power'a ihtiyaç duyarsam 2 tane daha RTX TITAN alıp sistemi upgrade edebilirim diye düşünüyorum.
- Bunların dışında sistemi dual-boot ayarlayarak, işten bunaldığımda Windows'u açıp biraz oyunların limitlerini de zorlamayı planlıyorum.
- Yazılım tarafında CUDA SDK'sını kullandığımızdan AMD-based ilerleyemiyoruz. Kendi sistemimi upgrade edeceğim zaman AMD Threadripper alabiliriz
- Sistemin duracağı yerde merkezi iklimlendirme var. Yazın 21 derece, kışın 24/25 derece civarında ortam sıçaklığı.
- Soğutma tarafında ise sıvı soğutmayı seviyorum. Sessiz ve güzel duruyor kasanın içerisinde ama işte tüplü yapıları kurmak daha zor. Boruları ölçmek kesmek, loop'u planlamak, basınç ayarlaması, sızdırma testi vs. gibi süreçleri var. Sizler daha iyi bilirsiniz. Benim açıkçası bu konularda çok fazla deneyimim olmadığından riske girmek istemiyorum. Çünkü, sıvı soğutma ile ilgili yapacağım basit bir hata bile sisteme zarar verebilir. En kötü ihtimal GPU kartları için sıvı bloklarından vazgeçip, CPU içinde kapalı sıvı soğutma sistemlerinden birini seçip devam edeceğim.

Teşekkürler.

Teşekkürler.

Hacım yanlış anlamazsan, bu işlemciyi seçme nedenin nedir?
Hortlanmış konuymuş, boşa sorduk.

İşlemciyi seçme sebebim; sistem üzerinde daha çok core ve thread ile iş parçacığı çalıştırabilme imkanı olması ve yazılım tarafında yaptığımız optimizasyon ve memory-encription (Intel SGX) kartı Intel işlemler üzerinde çalışması. Fakat Intel temelli farklı bir öneriniz varsa onu da değerlendirebilirim.
Önerilere açığım.

@Hakan Dmr hocam geri dönüşünüz için teşekkür ederim. CUDA'dan yararlanacağımız için asıl kalemimizi ekran kartları oluşturacak.

Öncelikle şu şekilde bir trick yapacağız daha hızlı işleyebilmek için. CUDA çekirdeklerinin nesiller arasındaki performansı neredeyse yok. Yani mesela GTX 700 serisi bir ekran kartındaki 2000 CUDA çekirdeği ile RTX 2000 serisi bir ekran kartındaki 2000 CUDA çekirdeği arasındaki güç farkı dakika bazına bile çıkmıyor genellikle. Bu sebeple bu konuya yoğunlaşacağız.

Debian LTS çalıştıracağınız için 5.4.18 kernelde sorun yaşamayacağınızı tahmin ediyorum. Ama tabii ki denemeden yorum yapmak güç. Fakat yeni nesillerle daha yüksek uyumluluğa sahip olduğunu tahmin ediyorum.

Sadece Tensor Core ile geliştirilen modellerin CUDA ile geliştirilen modellere göre performans farkı ne oluyor, araştırmam gerekli. Bu konuya döneceğim daha sonra.

Dual Boot yapacağız, tamamdır. Windows yanında gram sorun yaşayacağımızı zannetmiyorum.

CUDA SDK sadece nVidia'nın CUDA çekirdeğine sahip ekran kartlarını hedef alıyor. İşlemci ile ilgili hiçbir etmeni yok. Bunu AMD işlemci ile nVidia CUDA'nın hesaplaması gereken işi işlemciye işlettirmiş biri olarak söylüyorum. İşlemci platformundan bağımsız olarak çalışıyor CUDA SDK.

Soğutma için özel açık döngüler genellikle daha verimli oluyorlar. Fakat orada da işin ucuzuna kaçılırsa hava soğutma yer yer öne geçiyor. Merkezi iklimlendirme var dediniz zaten. Kasayı iklimlendirme sisteminden gelecek havayı alabilecek şekilde yerleştirirsek ve hava almasını engellemezsek ekran kartlarının hava soğutması yeterli gelecektir.

Ses için ise güzel bir yalıtım yaparsak o sorunu da elemiş oluruz.

Gün içerisinde pazar ve fiyat araştırmalarımı yaptıktan sonra döneceğim.

Hakan Dmr dedi:

memory-encription (Intel SGX) kartı Intel işlemler üzerinde çalışması.

Genişletmek için tıkla...

Intel SGX'de kritik güvenlik açıkları olduğunu okumuştum. Tüm belleğin dump edilmesi gibi. Bunun yerine kendi uygulamanızın bellekte saklayacağı verileri şifreleyerek tutmasını sağlayabilirsiniz. Yalnızca bir öneri.

SideWinder dedi:

Kişi kendi konusuna mesaj yazmış.

Genişletmek için tıkla...

4 yıllık konu farklı sistem hortlamış oluyor canım benim.

@Hakan Dmr İyi haberlerim var, Threadripper'ın en tepe modeli 3990X için Linux kernel 5.4 ve üzeri sorunsuz bir biçimde tanıyor ve 128 thread'i birlikte çalıştırabiliyor. Tek bir 3970X'in, i9 10980XE gibi modelleri rahatça ve stabil bir biçimde geçtiği bilinen bir detay. Yeni 3990X için termal raporlamaların 5.5 gibi mainline üzerindeki kernellerde iyileştirileceği belirtiliyor. Termal raporlamadaki sorununda büyük ihtimal işlemcinin daha bu geçtiğimiz Cuma günü (7 Şubat 2020) resmi olarak satışa sunulmuş olmasından kaynaklandığını düşünüyorum. Zira her yeni işlemci neslinde termal raporların uyumlu bir şekilde elde edilmesinde en az 3-4 aylık bir uyum süreci gerçekleşiyor. Bu Intel ve AMD cephesi fark etmeksizin aynı işliyor.

This initial round of Ryzen Threadripper 3990X was done on an Ubuntu 20.04 snapshot as of last week with the Linux 5.4 kernel and GCC 9.2.1. All of the systems, as always, were freshly re-tested on this forward-looking stack for how these HEDT CPUs should be performing with the upcoming Ubuntu 20.04 LTS release. Besides needing the MCE workaround (booting with mce=off until running the latest Linux 5.4 point releases or Linux 5.5), the experience has been good under Linux with the limited time for testing. Of course, with Linux 5.6 will also be better thermal reporting as well for AMD CPUs.

Genişletmek için tıkla...

Uzun lafın kısası, Threadripper 3990X işlemci Ubuntu 20.04 ön-izleme sürümü ve Linux 5.4.0-2 kernel ve GCC 9.2.1 ile sorunsuz bir şekilde boot edilmiş. Yalnızca AMD MCE sürücülerinde hata olduğu için boot parametrelerinde MCE devre-dışı bırakılması gerekiyormuş. Onun da araştırmasını yaptığımda 100'den fazla MCE sürücüsü ile ilgili yamanın bir aylık süre içerisinde yapıldığını fakat kernel.org'un daha bunları 5.4.0-2 sürümüne dahil etmediğini, okudum. Commit history incelenerek 5.4.18 LTS dahil edilip edilmediğini öğreniriz. Fakat büyük ihtimalle sistem toplanana kadar bu yamalarda kernelle birleştirilmiş (merge edilmiş) olur.



Benchmark konfigürasyonları:

Kaynakça:


Yine aynı kaynakçanın sonraki sayfalarında test edilen YZ algoritmalarındaki performans grafiklerini aşağıya ekliyorum. Boşuna sayfalar arasında kaybolmayın.












DNNL v1.1 , AVX-512 optimizasyonlu yani Intel CPU'ların açık ara önde olması beklenen bir alan fakat AMD ailesi bu konuda Intel'den daha iyi iş çıkartmış.





Yine satranç gibi ilerleyen adımlarda karmaşıklaşan algoritmalarda Threadripper ailesi önde.

Testleri gerçekleştirdikleri için özellikle Phoronix.com ailesine teşekkürlerimi iletiyorum. Özellikle akademik alanda veya herhangi bir firmada kullanılabilecek algoritma örnekleri için konfigürasyonların detaylarına kadar çok güzel bir veritabanı oluşturmuşlar.

Kaynakça:


@Hakan Dmr Yani, Threadripper ailesi ile sistemi daha bütçe dostu, daha performanslı ve uzun ömürlü inşa edebiliriz. Ek olarak Threadripper ailesinin bol PCI-E kanalları sayesinde takılacak ekran kartlarından tam anlamıyla faydalanma şansına sahip olabiliriz. Ekibinizi siz benden daha iyi tanıyorsunuz. Eğer bütçe yeterse bir değil 2 kasa birden toplayıp, iki sistemi de paralel olarak çalıştırıp işlemleri çok daha hızlı tamamlayabilir misiniz?

Vay arkadaş konu Yıldız Holding in muhasebesine dönmüş. Kaldıramıyorum daha fazla.

Hakan Dmr dedi:

Bunu development makinesi olarak düşünebilirsiniz. Asıl uygulamanın çalışacağı yer Private Cloud GPU-Farm olacak fakat benim öncesinde A.I. modellerini geliştirip, train ettirmem gerekiyor. Bu süreçte Tensor-Core'a da ihtiyacım var. RTX TITAN (576 Tensor Cores) yerine endüstriyel kartlara da baktım ama fiyat farkı 2 katın üzerinde ve büyük modeller için kendi GPU-Farm'mımız üzerinde de çalıştırabilirim.

Genişletmek için tıkla...

Tensor Çekirdekleri ile alakalı araştırmamı yaptım. Eğiteceğiniz model FP8 metodunu mu, FP16 metodunu mu yoksa FP32 metodunu mu kullanacak? Tensor, CUDA'ya karşı olan avantajını donanım seviyesinde FP32 iterasyonları 2 adet 4x4x4 matrissel olarak ele alıp (FP16) bunların çarpımını boş bir FP32 matris ile toplayarak normal bir FP32 matrisini hesaplamaya karşı zamandan tasarruf sağlayarak elde ediyor.



Detaylı kaynakça: Programming Tensor Cores in CUDA 9 | NVIDIA Developer Blog


Tensor'un verimli olup olmadığı ile alakalı bir makale:


Makaledeki örnek Tensor çekirdeği çalışma modelli


Örnek olarak Maxwell serisi bir CUDA çekirdeğin modeli
Kaynak: Maxwell: The Most Advanced CUDA GPU Ever Made | NVIDIA Developer Blog

@SypeR araştırmaların için teşekkürler. Çok faydalı oldu benim için.
Threadripper 3990X işlemci olarak daha mantıklı olacak gibi duruyor. Alternatif olarak internette EPYC'nin CPU'larına yönlendirmişler ama EPYC'nin CPU'ları toplamak istediğimiz sistemden daha pahallı Gerçi Threadripper içinde 24.000₺ diyorlar ama olsun.
Şu aşamada 2 sisteme ihtiyacımız yok. Ekipteki diğer arkadaşlar geliştirdiğim modelleri kullanacaklar ve onların GPU-Farm'a erişim seçenekleri var. Yani direkt Workstation ihtiyaçları yok.
Kullanılacak modeller farklı fragmantasyonlarda olduğundan çoğunda (10^-45) ile (10^38) aralığındayız yani FP32 kullanılacak ama bir kaç model içinde maalesef FP-16 kullanmamız gerekiyor. nVidia Volta serisi ile performans artırımı sağladı fakat bu seferde donanıma ulaşmak zorlaştı.

Google'ın TPU (Tensor Processing Unit) ancak cloud üzerinde native olarak ulaşabiliyoruz. Onun dışında Sophon'nun Deep Learning Acceleration Card SC3 var ama uyumluluk, verimlilik gibi konuları netleştirmek gerek. Sophon tarafında hala ekipteki tartışma sürüyor. Ne kadar artı katacağından emin olamıyoruz. Sophon yerine Google'ın Coral.ai projesini inceliyoruz.

Birde hepsinden öte bu parçaların çoğu Türkiye'de yok. Kim bilir ne kadar zaman alacak hepsini toparlamamız.

@Hakan Dmr Hocam müsait olduğum bir ara sistem tavsiyesi ile beraber döneceğim. 2 3 günü bulabilir, sakın unuttum sanmayın lütfen.