Нова техника, разработена от Google, дава безкраен контекст на езиковите модели
Техниката се нарича „Infini-attention“ и дава възможност на големи езикови модели, като GPT-4 и Gemini, да обработват входни данни с практически неограничена дължина.
Google представи Gemini 1.5 с 1 млн. токена
Като мултимодален модел Gemini 1.5 Pro може да разбира и обработва различни видове информация, включително текст, изображения, видео, аудио и код.
Контекстен прозорец или как големите езикови модели като GPT-4 „виждат“
Понятието „контекстен прозорец“ е ключово за разбирането на начина по който работят големите езикови модели (LLM), като ChatGPT на OpenAI.