Google представи своя най-нов AI модел за генериране на видео, наречен Lumiere.

Той е мултимодален, което означава, че може да създава видеоклипове от различни видове входни данни, като текст и изображения. Lumiere е разработен, за да отговори на предизвикателство в областта на видеосинтеза, а именно създаването на „реалистично, разнородно и последователно движение“, се посочва в статията от Google Research.

Може би сте забелязали, че моделите за генериране на видео обикновено предоставят накъсано видео, но подходът на Google осигурява по-плавно изживяване, както се вижда във видеото по-долу.

Lumiere може да генерира петсекундни видеоклипове с разделителна способност 1024 пиксела на 1024 пиксела, като използва нова техника, наречена Space-Time U-Net, която му позволява да генерира цяло видео наведнъж, вместо да създава ключови кадри и след това да запълва пропуските.

Lumiere може също така да анимира съдържанието на дадено изображение в рамките на определена област и дори да се използва за редактиране на вече съществуващи клипове.

Според Google, Lumiere се справя по-добре от известни AI модели за видео, включително ImagenVideo, Pika и Runway Gen-2. При тестовете моделът е надминал конкурентите си във всички категории, включително качеството на текста към видеото, изображение към видео и синхронизация на текст.

Lumiere все още не е пуснат за масова употреба, но ако искате да научите повече, можете да посетите уебсайтът на проекта, където можете да видите множество демонстрации.

Това не е първият AI модел за генериране на видео, разработен от Google. В края на 2023 г. технологичният гигант представи VideoPoet, а година по-рано, през октомври 2022 г. – ImagenVideo.

Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *

Абонирайте се за нашите седмични бюлетини

Получавайте всяка неделя в 10:00ч последно публикуваните в сайта статии

Бюлетини: