Изследователите на Google представиха нова техника, наречена „Infini-attention“, която дава възможност на големи езикови модели, като GPT-4 и Gemini, да обработват входни данни с практически неограничена дължина, използвайки ограничена памет и изчислителна мощ.
Големите езиковите модели (LLMs) са ограничени от така наречения „контекстен прозорец“ – броят токени (думи, символи или дори препинателни знаци), с които моделът може да работи във всеки един момент. Например, ако вашият чат с ChatGPT се проточи извън контекстния прозорец, неговата производителност рязко спада и той ще забрави токените, използвани в началото на разговора.
Infini-attention решава този проблем, като интегрира нов тип „компресирана памет“ директно в механизма за обработка на входни данни. Това позволява на модела ефективно да съхранява и извлича информация с минимални изисквания по отношение на паметта.
Изследователите демонстрират ефективността на своя подход чрез поредица от тестове, включително обобщаване на изключително дълги текстове от над 500 000 думи и извличане на ключова информация от данни с дължина 1 милион токена. Те посочват, че моделите, използващи Infini-attention, превъзхождат традиционните такива, постигайки до 114 пъти по-ефективно използване на паметта.
Забележителното при този подход е, че той може лесно да бъде интегриран в съществуващите големи езикови модели, позволявайки им да обработват много по-дълги текстове без съществени модификации. Следователно днешните езикови модели могат бързо да бъдат надградени, за да обработват текстове с на практика безкрайна дължина.
Моделът Gemini 1.5 на Google, който се предполага, че използва Infini-attention, разполага с контекстуален прозорец от до 1 милион токена – най-дългият от всички модели с изкуствен интелект до момента. Gemini 1.5 може да разбира и анализира огромни количества текст, изображения, аудио и видео в рамките на една сесия, което далеч надхвърля възможностите на всички налични към момента модели. Например, Gemini 1.5 може да резюмира цели книги, съдържащи хиляди страници, да анализира десетки хиляди редове код наведнъж или дори да гледа и разбира пълнометражни филми.
Последствията от „Infini-attention“ са мащабни. Благодарение на възможността да обработват практически неограничен контекст, AI системите биха могли да анализират големи обеми научна литература, да обработват сложни финансови данни или дори да генерират последователно и завладяващо съдържание, като например цели филмови сценарии или поредици от книги.
Последвайте ни в социалните мрежи – Facebook, Instagram, X и LinkedIn!