Meta tarafından metin istemlerine dayalı olarak sesle gerçekçi videolar üretebilen Movie Gen medya temelli yapay zeka modelleri ailesi duyuruldu. Meta Movie Gen ailesi Movie Gen Video ve Movie Gen Audio olmak üzere iki ana modelden oluşuyor:
Movie Gen Video tek bir metin isteminden yüksek kaliteli, yüksek çözünürlüklü görüntüler ve videolar üretebilen 30 milyar parametreli bir dönüştürücü model. Oluşturulan videolar saniyede 16 kare hızında 16 saniyeye kadar uzunluğa sahip olabiliyor.
Movie Gen Audio ise isteğe bağlı metin istemleriyle birlikte bir video girişi alabilen ve giriş videosuyla senkronize olan 45 saniyeye kadar yüksek kaliteli ses üretebilen 13 milyar parametreli bir başka dönüştürücü model Bu yeni ses modeli ortam sesi, enstrümantal arka plan müziği ve Foley sesi üretebiliyor. Meta, modelin ses kalitesi, video-ses hizalaması ve metin-ses hizalaması açısından en son teknoloji sonuçları sunduğunu iddia ediyor.
Bu modeller yalnızca yepyeni videolar oluşturmak için değil. Basit metin istemleri kullanarak mevcut videoları düzenlemek için de kullanılabiliyor. Movie Gen, kullanıcıların arka plan veya stil değişiklikleri gibi genel değişikliklere ek olarak, öğeler ekleme, kaldırma veya değiştirme gibi yerelleştirilmiş düzenlemeler yapmalarına da olanak tanıyor.
Movie Gen modelleri, kullanıcıların kişiselleştirilmiş videolar oluşturmasına olanak tanıyor. Bir kişinin görüntüsünü ve bir metin istemini kullanarak, bu modeller insan kimliğini ve hareketini koruyan kişiselleştirilmiş videolar oluşturabiliyor. Meta, bu modellerin videoda karakter koruma ve doğal hareket konusunda en son teknoloji sonuçları sağladığını iddia ediyor.
Meta, bu modellerin OpenAI Sora ve Runway Gen-3 dahil olmak üzere diğer video oluşturma modellerinden daha iyi videolar oluşturduğunu iddiasında. Şirket şu anda modeli kamuoyuna sunmadan önce daha da iyileştirmek için yaratıcı profesyonellerle çalışıyor.
