Tencent, HunyuanVideo adını verdiği açık kaynaklı olan son teknoloji yapay zeka video oluşturma modelini duyurdu. HunyuanVideo, çıkarım kodu ve model ağırlıklarının herkes için açıkça erişilebilir olduğu ilk büyük açık kaynaklı video oluşturma modeli olarak karşımıza çıkıyor.
HunyuanVideo Neler Sunuyor?
Tencent, HunyuanVideo’nun yüksek görsel kalite, hareket çeşitliliği, metin-video hizalaması ve oluşturma kararlılığı ile önde gelen kapalı kaynaklı modellerle karşılaştırılabilir videolar üretebileceğini iddia ediyor. Model, 13 milyardan fazla parametreyle tüm açık kaynaklı video oluşturma modelleri arasında en büyüğü. Model ayrıca; veri düzenleme, görüntü-video ortak model eğitimi ve büyük ölçekli model eğitimi ve çıkarımı desteklemek için verimli bir altyapıyı entegre eden bir çerçeve içeriyor.
Tencent ayrıca modeli profesyonel insan değerlendirmesi kullanarak test etti. Değerlendirme sonuçlarına göre HunyuanVideo, Runway Gen-3 ve Luma 1.6 dahil olmak üzere tüm önde gelen kapalı kaynaklı son teknoloji modellerden daha iyi performans gösteriyor.
Happy to share that our team at Tencent open-sources a 13B parameter video generation model
Web Page: https://t.co/v6qQprYFUJ
GitHub: https://t.co/fSaO8gMT4W pic.twitter.com/ZHjzwnz9fw— chenyangqi (@chenyangqi1) December 3, 2024
HunyuanVideo, Transformer tasarımını sunuyor ve birleşik görüntü ve video üretimi için Tam Dikkat mekanizmasını kullanıyor. Özellikle, video üretimi için “Çift akıştan Tek akışa” hibrit model tasarımı kullanılıyor. Çift akış aşamasında, video ve metin belirteçleri birden fazla Transformer bloğu aracılığıyla bağımsız olarak işleniyor ve her bir modalitenin kendi uygun modülasyon mekanizmalarını müdahale olmadan öğrenmesini sağlanıyor. Tek akış aşamasında, video ve metin belirteçlerini birleştiriliyor ve etkili çok modlu bilgi füzyonu için bunları sonraki Transformer bloklarına besleniyor. Bu tasarım, görsel ve anlamsal bilgiler arasındaki karmaşık etkileşimleri yakalayarak genel model performansını artırıyor.
Açık kaynak kodu ve ağırlıklarıyla HunyuanVideo yapay zeka video üretim ekosisteminde bir devrim yaratabilir.
