LUMIERE

Fotoğraflarınızı yada yazınızı videoya çeviren yapay zeka programı.

Video sentezinde çok önemli bir zorluk olan, gerçekçi, çeşitli ve tutarlı hareketi tasvir eden videoları sentezlemek için tasarlanmış bir metinden videoya yayılma modeli olan Lumiere'yi tanıtıyoruz.

Bu amaçla, modeldeki tek bir geçişle videonun tüm zamansal süresini tek seferde üreten bir Uzay-Zaman U-Net mimarisini tanıtıyoruz.

Bu, uzak anahtar kareleri ve ardından zamansal süper çözünürlüğü sentezleyen mevcut video modellerinin tersidir; bu, doğası gereği küresel zamansal tutarlılığın elde edilmesini zorlaştıran bir yaklaşımdır. Modelimiz, hem uzamsal hem de (önemlisi) zamansal aşağı ve yukarı örneklemeyi dağıtarak ve önceden eğitilmiş bir metinden görüntüye yayılma modelinden yararlanarak, tam kare hızında, düşük çözünürlüklü bir videoyu işleyerek doğrudan oluşturmayı öğrenir. çoklu uzay-zaman ölçekleri. En son teknolojiye sahip metinden videoya dönüştürme sonuçlarını gösteriyoruz ve tasarımımızın, görüntüden videoya, video içi boyama ve stilize oluşturma da dahil olmak üzere çok çeşitli içerik oluşturma görevlerini ve video düzenleme uygulamalarını kolayca kolaylaştırdığını gösteriyoruz.