NVIDIA bugün Audio2Face animasyon modellerini ve SDK’sını açık kaynak olarak yayınladı. Şirket bu adımla birlikte oyun ve 3D uygulama geliştiricilerinin yapay zeka destekli avatarları uygulamalarında kullanımını hızlandırmayı planlıyor.
NVIDIA Audio2Face modeli açık kaynak olarak yayınlandı
Audio2Face, ses girişlerinden gerçekçi yüz animasyonları üretmek için yapay zeka kullanan bir teknoloji. Sistem fonemler ve tonlama gibi akustik özellikleri analiz ederek karakterlerin yüz pozlarına haritalanabilen animasyon veri akışı oluşturuyor. Bu veriler önceden yazılmış içerikler için offline olarak işlenebiliyor ya da dinamik, yapay zeka destekli karakterler için gerçek zamanlı aktarım sağlayabiliyor. Teknoloji sayesinde hem doğru dudak senkronizasyonu hem de duygusal ifadeler elde ediliyor.
NVIDIA’nın açık kaynak olarak sunduğu araçlar arasında Audio2Face SDK, Autodesk Maya eklentisi, Unreal Engine 5 eklentisi, Audio2Face eğitim framework’ü ve örnek veriler bulunuyor. Audio2Face SDK, cihazda veya bulutta yüz animasyonu oluşturmak ve çalıştırmak için kütüphaneler ve belgeler içeriyor. Autodesk Maya eklentisi v2.0 sürümüyle yerel yürütme sağlarken kullanıcıların ses girişleri göndermesine ve Maya’daki karakterler için yüz animasyonu almasına olanak tanıyor. Unreal Engine 5 eklentisi ise v2.5 sürümüyle UE 5.5 ve 5.6 için ses girişleri gönderme ve Unreal Engine 5’teki karakterler için yüz animasyonu alma imkanı sunuyor.
Audio2Face eğitim framework’ü v1.0 sürümüyle geliştiricilerin kendi verileriyle Audio2Face modelleri oluşturmasına imkan veriyor. Paket içerisinde eğitim framework’üyle başlamak için örnek veriler de yer alıyor. Audio2Face modelleri dudak senkronizasyonu oluşturmak için regresyon v2.2 ve difüzyon v3.0 modellerini içerirken, Audio2Emotion modelleri sesten duygusal durumu çıkarsamak için üretim v2.2 ve deneysel v3.0 modellerini kapsıyor.
Teknoloji şu anda oyun, medya & eğlence ve müşteri hizmetleri sektörlerinde yaygın olarak kullanılıyor. Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs ve UneeQ Digital Humans gibi çok sayıda ISV ve oyun geliştirici uygulamalarında Audio2Face teknolojisini tercih ediyor.
Reallusion Innovation Başkanı Elvis Huang konuyla ilgili yaptığı açıklamada “Audio2Face yapay zeka kullanarak sesten etkileyici, çok dilli yüz animasyonu oluşturuyor. iClone, Character Creator ve iClone AI Assistant ile sorunsuz entegrasyonu, ayrıca yüz tuşu düzenlemesi, yüz kuklacılığı ve AccuLip gibi gelişmiş düzenleme araçları sayesinde yüksek kaliteli karakter animasyonu üretmek her zamankinden daha kolay hale geliyor” dedi.
Alien: Rogue Incursion Evolved Edition geliştiricisi Survios’tan Game Director ve Lead Engineer Eugene Elkin ise “Audio2Face’i Evolved Edition’a entegre ederek dudak senkronizasyonu ve yüz yakalama için pipeline’ımızı hızlandırdık. Aynı zamanda oyuncularımız için daha sürükleyici ve otantik bir karakter deneyimi sağladık” ifadelerini kullandı.
Chernobylite oyun serisinin yaratıcısı The Farm 51’den Creative Director Wojciech Pazdur da “Chernobylite 2: Exclusion Zone’da NVIDIA Audio2Face teknolojisinin entegrasyonu bizim için oyun değiştirici oldu. Doğrudan sesten son derece detaylı yüz animasyonları üretmemize olanak tanıdı ve saatlerce animasyon çalışması tasarrufu sağladı. Orijinal Chernobylite’da imkansız olan fikirler artık mümkün, bu da karakterlere yeni bir gerçekçilik ve dalma seviyesi getirip performanslarını her zamankinden daha otantik hissettiriyor” değerlendirmesinde bulundu.
NVIDIA aynı zamanda RTX Kit teknolojilerinde de güncellemeler duyurdu. Neural rendering teknolojileri paketi olan RTX Kit, oyunları yapay zekayla ray trace etme, büyük geometriye sahip sahneleri render etme ve foto-gerçekçi görsellerle oyun karakterleri oluşturma imkanı sunuyor.
RTX Neural Texture Compression SDK yüksek kaliteli dokuların bellek kullanımını kaliteden ödün vermeden önemli ölçüde azaltıyor. Son güncellemeler arasında çok büyük doku setleri için kütüphane optimizasyonları, DX12’de Cooperative Vectors ile geliştirilmiş performans, rendering örneği için genişletilmiş özellik seti ve DLSS desteği yer alıyor.
RTX Global Illumination SDK ise ray-traced dolaylı aydınlatma çözümleri sağlıyor ve pathtracer örneğine VSync seçeneği, material demodulation toggle ile cache görselleştirmesi eklendi. Spatially Hashed Radiance Cache (SHaRC) algoritması compaction seçeneğini kaldırırken isteğe bağlı material demodulation, ek debug pass ve dokümantasyon güncellemeleri getirdi.
Şirket ayrıca NVIDIA vGPU teknolojisinin oyun geliştirme ortamlarını nasıl ölçeklendirdiğine dair Activision örneğini paylaştı. Activision global entegrasyon, teslimat ve dağıtım pipeline’ını NVIDIA vGPU ile yenileyerek 100 eski sunucuyu sadece altı RTX GPU destekli üniteyle değiştirdi. Sonuçlar %82 alan tasarrufu, %72 güç kullanımı azalması ve günlük olarak 3.000 geliştirici ve 500+ sistem genelinde 250.000’den fazla görevin çalıştırılması olarak açıklandı.
NVIDIA son olarak SIGGRAPH 2025’te düzenlediği grafik geliştirme ve performans ayarlama oturumlarının kayıtlarının NVIDIA On-Demand’de yayınlandığını duyurdu. Bu oturumlar Nsight Graphics ve Nsight Systems araçlarının kullanımına odaklanıyor.
