Почему исследователи сомневаются в необходимости длинного контекста

Исследовательская команда Nvidia считает, что использование очень больших контекстных окон часто избыточно и дорого. По данным THE DECODER, во многих тестах примерно столь же хорошо работали периодические сводки и поиск конкретных сведений по запросу.

Контекстное окно — это рабочая память языковой модели: информация, которую она учитывает, формируя ответ. За последние годы его размер быстро увеличился.

Иллюстрация к материалу о длинных контекстных окнах языковых моделей
Изображение создано Nano Banana Pro по запросу THE DECODER. · Источник изображения

От GPT-4 до контекста примерно в миллион токенов

При запуске в марте 2023 года GPT-4 имела контекстное окно на 8 192 токена. По данным источника, GPT 5.6 Sol сегодня обрабатывает около миллиона токенов — примерно в 120 раз больше. Такой объём, отмечает THE DECODER, позволяет уместить в контекст «Войну и мир» Толстого.