Исследователи Nvidia считают огромные контекстные окна избыточными
Команда Nvidia утверждает, что большие контекстные окна часто обходятся дорого без заметной пользы: в ряде тестов похожие результаты давали периодические сводки и точечный поиск.

Почему исследователи сомневаются в необходимости длинного контекста
Исследовательская команда Nvidia считает, что использование очень больших контекстных окон часто избыточно и дорого. По данным THE DECODER, во многих тестах примерно столь же хорошо работали периодические сводки и поиск конкретных сведений по запросу.
Контекстное окно — это рабочая память языковой модели: информация, которую она учитывает, формируя ответ. За последние годы его размер быстро увеличился.

От GPT-4 до контекста примерно в миллион токенов
При запуске в марте 2023 года GPT-4 имела контекстное окно на 8 192 токена. По данным источника, GPT 5.6 Sol сегодня обрабатывает около миллиона токенов — примерно в 120 раз больше. Такой объём, отмечает THE DECODER, позволяет уместить в контекст «Войну и мир» Толстого.
Продолжить чтение
В ленте материалов: 1


