Изследователите на Adobe са разработили нов модел на изкуствен интелект (AI), наречен VideoGigaGAN, който може да увеличава размера на видеоклиповете до осем пъти спрямо първоначалната им резолюция, като същевременно запазва фините детайли и осигурява плавна последователност между кадрите.
Въпреки че проектът все още е в изследователска фаза и няма гаранция, че Adobe ще го направи общодостъпен, например чрез софтуера си Premiere Pro, компанията твърди, че моделът превъзхожда други методи за супер-резолюция на видео (Video Super Resolution, VSR), като осигурява по-остри детайли без създаване на нежелани артефакти или изкривявания.
🚀 Descubre el VideoGigaGAN: el último modelo de Adobe que transforma videos de baja calidad en videos de alta definición, manteniendo detalles nítidos y consistencia temporal. UNA PASADA🎥✨
— El IAS – Esteban Diba (@estebandiba) April 22, 2024
Más aquí: https://t.co/3OHDYJTCOx
#IA #Tecnología pic.twitter.com/ESUQNrYmhw
Едно от основните предизвикателства при увеличаването на резолюцията на видеото е запазването на последователността между кадрите. За разлика от други VSR методи, учените от Adobe са използвали технология, наречена GigaGAN, която вече е доказала своята изключителна ефективност при увеличаване на изображения. Чрез адаптирането ѝ за видео и добавянето на нови техники за последователност между кадрите, подобряване на плавността на движението и запазване на фините детайли, изследователите са успели да създадат наистина впечатляващ инструмент.
Adobe 发布视频清晰度增强模型 VideoGigaGAN
— 诗人个人信息财产调查 (@srtg000bot) April 23, 2024
VideoGigaGAN 是一个视频超分辨率 (VSR) 模型，它拥有令人印象深刻的视频一致性表现，可以将你的视频采样提高 8 倍并增强细节，还不会产生严重的时间闪烁和混叠伪影。
演示是一些 128×128 视频变为 1024×1024… pic.twitter.com/GIfWhwHixj
Важно е да се отбележи, че VideoGigaGAN генерира някои от детайлите във видеоклиповете с помощта на изкуствен интелект, така че резултатите не отразяват напълно реалността. Моделът също така има някои ограничения при обработката на дълги видеоклипове и малки обекти, като например текст, които могат да бъдат изгубени във входните данни с ниска разделителна способност.
Можете да видите много демонстрации и сравнения с други методи на уебсайта на проекта.
През последните две седмици Adobe обяви редица актуализации на своите продукти. Например, Photoshop вече ще позволява генериране на изображения с новия генеративен модел на компанията – Firefly Image 3. От друга страна, по-късно тази година, в софтуерът за обработка на видео Premiere Pro ще бъдат интегрирани генеративни AI видео модели и инструменти от трети страни, като например Sora на OpenAI, RunwayML и Pika. Освен това, Adobe разработва свой собствен видео модел, който ще се присъедини към семейството на генеративните AI модели Firefly.
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!