AMD, Instinct MI300X lansmanında yapay zeka (AI) ve yüksek performanslı bilgi işlem (HPC) konusunda yeni grafik yongalarının NVIDIA H100‘den önemli ölçüde daha hızlı olduğunu iddia etmişti. Rakibi ise tabiri caizse AMD’yi yalanlayarak durumun tam tersi olduğunu gösterdi.
Yeşil takıma göre, uygun şekilde optimize edildiğinde H100 tabanlı sistemler Instinct MI300X destekli sunuculardan daha hızlı. NVIDIA, AMD’nin performansı Instinct MI300X tabanlı sunucusuyla karşılaştırmak için kullandığı DGX H100 makinesi için optimize edilmiş yazılım kullanmadığını iddia ediyor. Bu bağlamda, yüksek yapay zeka performansının sağlam bir paralel hesaplama yapısına, çok yönlü bir araç paketine, son derece rafine algoritmalara (optimizasyonlar) ve gelişmiş donanıma bağlı olduğu belirtiliyor. Başka bir deyişle, bahsedilen puzzle’ın parçalarından biri eksik olduğunda performans düzeyi düşük, hatta vasatın altında olabiliyor.
NVIDIA’ya göre TensorRT-LLM, H100 ve benzeri GPU’lar için çok önemli bir performans sağlayıcı olan Hopper mimarisi için özel olarak tasarlanmış gelişmiş çekirdek optimizasyonlarına sahip. Bu ince ayar, Llama 2 70B gibi modellerin çıkarımların hassasiyetinden ödün vermeden H100 GPU’larda hızlandırılmış FP8 işlemlerini çalıştırmasına olanak tanıyor.
GPU üreticisi bunu kanıtlamak için Llama 2 70B modelini çalıştıran sekiz H100 GPU ile donatılmış tek bir DGX H100 sunucusunun performans ölçümlerini sundu. Bir DGX H100 makinesi, bir toplu iş boyutuna ayarlandığında tek bir çıkarım görevini yalnızca 1.7 saniyede tamamlayabiliyor. AMD’nin sekiz yollu MI300X sisteminde ise bu süre 2.5 saniye (AMD tarafından yayınlanan rakamlara göre).
