NVIDIA, GPU Teknoloji Konferansı’nda (GTC) Hopper mimarisinin ve yeni nesil H100 GPU’sunun ayrıntılarını açıkladı. Şirketin bir süredir yeni nesil GPU’lar üzerinde çalıştığını biliyoruz, ancak şimdi elimizde bazı somut özellikler var. Hopper mimarisi ve H100 GPU, geleceğin GeForce kartlarını güçlendirecek tüketici odaklı Ada Lovelace mimarisi ile tamamen farklı.
Yeşil ekip henüz ‘Ada’ mimarisi hakkında herhangi bir ayrıntı açıklamadı. Hopper H100 ise Volta V100’ün yerine geçen Ampere A100’ün yerini alacak ve bunların hepsi veri merkezlerinde kullanılıyor. NVIDIA, AMD’nin Instinct MI250/250X ve yeni duyurulan Instinct MI210 gibi hızlandırıcılarıyla rekabet edecek ve HPC’de liderliğini sağlamlaştırmak istiyor.
H100, AI (yapay zeka) yeteneklerine odaklanan süper bilgisayarlar için tasarlanırken mevcut A100’e göre önemli yükseltmeler ve güncellemeler getiriyor. Yongada 80 milyar transistör bir araya geliyor ve özel bir TSMC 4N üretim teknolojisi kullanılarak inşa edildi. Bunun TSMC’nin sunduğu genel N4 4nm işlemiyle karşılaştırılmaması gerekiyor ve NVIDIA için özel bir üretim teknolojisi. Bir not olarak, geçmiş nesil A100’de 54 milyar transistör yer alıyordu ve artış gerçekten önemli seviyede.
NVIDIA çekirdek sayılarını veya saatlerini açıklamadı lakin başka ayrıntılar verdi. H100, şirketin 128 GB/s’ye kadar bant genişliği sunabilen dördüncü nesil NVLink arabirimini destekliyor. Ayrıca NVLink kullanmayan sistemler için PCIe 5.0 desteği sunuluyor ve bu da 128 GB/sn hız demek. Güncellenmiş NVLink bağlantısı, A100’den 1,5 kat daha fazla bant genişliği sağlarken, PCIe 5.0 ise PCIe 4.0’ın iki katı bant genişliği sunuyor. Genel olarak konuşursak, H100 önceki modele kıyasla %50 daha fazla belleğe ve arayüz bant genişliğine sahip.
Elbette bellekler önemli, ancak Hooper’ın başka önemli artıları da var. Yeni NVIDIA H100, 2.000 TFLOPS’a kadar FP16 işlem, 1.000 TFLOPS’a kadar TF32 işlem ve ayrıca 60 TFLOPS genel amaçlı FP64 işlem gücü sağlayabiliyor. Yani her üç durumda da A100’e kıyasla üç katlık bir performans artışı söz konusu. Hopper öte yandan A100’den (yerel FP8 desteği olmadığı için FP16’ya güvenmek zorunda kalan) altı kat daha hızlı olan 4.000 TFLOPS’a kadar hesaplama ile gelişmiş FP8 desteği getiriyor. Performansı optimize etmek isteyen NVIDIA, iş yüküne bağlı olarak FP8 ve FP16 formatları arasında otomatik olarak geçiş yapacak yeni bir transformatör motoruna sahip.
Yeşil ekip, dinamik programlamayı hızlandırmak için tasarlanmış yeni DPX talimatları da ekleyecek. Bunlar rota optimizasyonu ve genomik dahil olmak üzere çok çeşitli algoritmalarda yardımcı olabilir ve NVIDIA, bu algoritmalardaki performansın önceki nesil GPU’larından 7 kata kadar ve CPU tabanlı algoritmalardan 40 kata kadar daha hızlı olduğunu iddia ediyor.
Tüm bu değişiklikler süper bilgi işlem ve yapay zeka sektörü için önemli. Ancak bu avantajlar bazı dezavantajları da beraberinde getiriyor. Daha küçük bir üretim teknolojijisine rağmen, SXM varyantı için H100 TDP, A100 SXM modülleri için 400W’a kıyasla 700W’a yükseltildi. Bu iş yüküne bağlı olarak %50 ile %500 arasında değişen geliştirmeler için %75 daha fazla güç demek. Genel olarak performansın NVIDIA A100’den iki ila üç kat daha hızlı olması bekleniyor lakin güç tüketimi bir hayli artmış görünüyor.
Çip üreticisi, genel olarak H100’ün A100’den daha iyi ölçeklendiğini ve yapay zeka eğitiminde 9 kata kadar daha fazla verim sağlayabileceğini iddia ediyor. Ayrıca bir kıyaslama olarak Megatron 530B çıktısını kullanarak 16X ila 30X daha fazla performans sunuluyor. Son olarak, 3D FFT (fast Fourier transform) ve genom dizileme gibi HPC uygulamalarında H100’ün A100’den 7 kata kadar daha hızlı olduğu vurgulanıyor.
A100’de olduğu gibi, Hopper tabanlı GPU’lar başlangıçta yeni bir DGX H100 rafa monte sunucu olarak sunulacak. Her DGX H100 sistemi, 640 GB HBM3 belleğe sahip 32 PFLOPS AI hesaplama ve 0,5 PFLOPS FP64 sunan sekiz H100 GPU içeriyor.
Grace
Şirket ayrıca Grace CPU’sunu ve Hopper GPU’sunu tek bir modül üzerinde birleştiren, ikisi arasında 900 GB/sn tutarlı bir arayüze sahip “Grace Hopper Superchips” çözümünü sunacak. Hopper bu yılın üçüncü çeyreğinde gelecek olsa da, Grace Hopper Superchip 2023’ün 3. çeyreğine kadar piyasada olmayacak. Bunların gelecekteki DGX sunucularında kullanılıp kullanılmayacağı net değil.
RTX 40 ve Ada Lovelace
Önceki nesil A100, NVIDIA’nın Ampere serisinin geri kalanı için kullanılan Samsung 8N teknolojisinin aksine TSMC 7N’yi (NVIDIA için özel N7) kullanıyordu. Söylentilere göre son tüketicilere ulaşacak olan Ada GPU’lar Hopper’dan biraz daha az gelişmiş bir üretim teknolojisini kullanacak. Beklentiler ise 4N’den çok da farklı olmayan TSMC N5 üretimi üzerinde yoğunlaşıyor.
Hopper mimarisi ile yapılan devasa performans artışları, aslında GeForce ekran kartlarıyla sunulabilecek şeylerin bir habercisi. Teknoloji devi muhtemelen Ada GPU’ları için HBM3 kullanmayacak, ancak H100 ile A100’ün performansı arasında potansiyel olarak iki ile üç kat fark olacağı söyleniyor. Yeni üretim teknolojileri ve mimari geliştirmelerle birlikte, GeForce RTX 4090‘ın RTX 3090’dan iki kat daha hızlı olması mümkün. Daha önce birkaç kez yeni nesil GeForce RTX 40 serisi kartların 600W’a kadar TGP ile gelebileceğini gösteren söylentiler yayılmıştı. Yani Hopper’da olduğu gibi, Ada Lovelace kartlar da yüksek performansın yanı sıra yüksek güç tüketimiyle gelebilir.
