След като OpenAI пусна Sora и предизвика истински фурор в интернет, китайският гигант Alibaba полага огромни усилия, за да настигне американските си конкуренти.

Изследователи на Alibaba са разработили нова система за изкуствен интелект, наречена „EMO“, съкратено от Emote Portrait Alive, която може да оживи портретни снимка и да генерира видеоклипове.

За разлика от традиционните методи, които разчитат на 3D модели на лицето, EMO използва директен подход за синтез на аудио-видео. Системата е в състояние да създава плавни и изразителни движения на лицето и пози на главата, които точно съответстват на нюансите на предоставения аудиозапис. Моделът може да генерира видеоклипове с различна продължителност в зависимост от входящото аудио.

От техническа гледна точка учените от Alibaba споделят, че EMO използва дифузионен модел, наречен Audio2Video. Те са обучили системата върху голям набор от данни, включващ над 250 часа видеоклипове, речи, филми, телевизионни предавания и певчески изпълнения.

Експерименталните резултати показват, че EMO е в състояние да създава не само убедителни видеоклипове с говорене, но и такива с пеене в различни стилове, като значително превъзхожда съществуващите най-съвременни методи по отношение на изразителност и реализъм

– се посочва в статията на проекта.

Освен това изследователите са провели проучване сред потребители, което е установило, че видеоклиповете, генерирани от EMO, са по-естествени и емоционални от тези, създадени от други системи.

Въпреки това разработването на подобни напреднали AI системи поражда етични опасения във връзка с потенциална злоупотреба, като например създаване на фалшиви самоличности или разпространение на дезинформация. Изследователският екип, който стои зад ЕМО, е наясно с тези проблеми и работи върху разработването на методи за откриване на синтетични видеоклипове.

Последвайте ни в социалните мрежи – FacebookInstagramX и LinkedIn!

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *

Абонирайте се за нашите седмични бюлетини

Получавайте всяка неделя в 10:00ч последно публикуваните в сайта статии

Бюлетини: