Yapay zeka ve HPC uygulamalarına yönelik modern GPU’lar, geleneksel olarak cihazda yerleşik olarak bulunan sınırlı miktarda HBM (high-bandwidth memory) bellek ile birlikte geliyor. Evet oyuncular ve diğer uygulamalar için bellekler artık önemli, ancak yapay zeka ve diğer endüstriyel uygulamalarda çok daha önemli. Kısıtlı bellekler ise performansı kısıtlamakta.
Son tüketicileri şimdilik ilgilendirmese de, sunucu tarafına yönelik şaşırtıcı ve bir o kadar da önemli yeni bir teknoloji gündemde. Yeni bellek teknolojisi, şirketlerin GPU’da yerleşik bellekle sınırlı kalmak yerine PCIe veri yoluna bağlı cihazlarla daha fazla bellek kullanarak GPU bellek kapasitesini artırmalarına olanak tanıyacak. Hatta bellek kapasitesini genişletmek için SSD’lerin kullanılması bile mümkün.
Güney Kore’nin ünlü KAIST araştırma enstitüsü tarafından desteklenen bir şirket olan Panmnesia, CXL bellek genişleticileri ile GPU belleğini genişletmek için kullanılabilecek düşük gecikmeli bir CXL IP geliştirdi. Yapay zeka eğitimi için daha gelişmiş veri kümelerinin bellek gereksinimleri hızla artıyor. Gereksinimler karşılanmadığında ne oluyor? Yapay zeka şirketlerinin ya yeni GPU’lar satın alması, ya daha az karmaşık veri kümeleri kullanması ya da performans pahasına CPU belleği kullanması gerekiyor.
CXL, resmi olarak bir PCIe bağlantısının üzerinde çalışan ve böylece kullanıcıların PCIe veri yolu üzerinden bir sisteme daha fazla bellek bağlamasına olanak tanıyan bir protokol. Ancak teknolojinin bir ASIC ve alt sistemi tarafından tanınması gerekiyor. Bu nedenle sadece bir CXL kontrolcüsü eklemek, özellikle bir GPU’da teknolojinin çalışması için yeterli değil.
Panmnesia, GPU’larda DRAM ve/veya SSD uç noktalarını destekleyen bir CXL mantık yapısı ve alt sistemlerinin bulunmaması nedeniyle GPU bellek genişletmesi için CXL entegrasyonunda zorluklarla karşılaştı. Buna ek olarak GPU önbellek ve bellek alt sistemleri, yavaş olma eğiliminde olan birleşik sanal bellek (UVM) dışında herhangi bir genişletmeyi tanımamakta.
Sorunu çözmek isteyen şirket, PCIe üzerinden harici belleği destekleyen birden fazla kök bağlantı noktası (RP) ile donatılmış CXL 3.1 uyumlu bir kök kompleksi (RC) ve GPU’nun sistem veri yoluna bağlanan ana bilgisayar tarafından yönetilen aygıt belleği (HDM) kod çözücüsüne sahip bir ana bilgisayar köprüsü geliştirdi. Sistem belleğinin adres aralıklarını yönetmekten sorumlu olan HDM kod çözücü, esasen GPU’nun bellek alt sisteminin sistem belleğiyle iş yaptığını ‘algılamasını’ sağlıyor. Gerçekte ise alt sistem PCIe bağlantılı DRAM veya NAND kullanabiliyor, bu da GPU bellek havuzunu genişletmek için DDR5 bellek ya da SSD’lerin kullanılabileceği anlamına geliyor.
