Как работает отложенная загрузка

Google запустила Tool Retrieval для Gemini API. Функция доступна в предварительном доступе через Interactions API, документацию которого компания разместила в Google AI Studio.

Когда агенту доступно множество инструментов, передача полной схемы параметров каждого из них в каждом запросе увеличивает число входных токенов и задержку, а также может снижать точность выбора инструмента по мере роста списка. Tool Retrieval позволяет оставить библиотеку инструментов доступной, но загружать полные схемы только по необходимости.

Для настройки запроса нужно добавить инструмент tool_search и установить defer_loading: true для инструментов, схемы которых следует отложить. Модель по-прежнему видит название и описание каждого такого инструмента, но не его схему параметров. Когда инструмент нужен, модель запрашивает его по имени, API загружает схему, после чего модель вызывает функцию — всё в рамках одного запроса.

Поддержка MCP и собственных реестров

Все три шага — поиск инструмента, загрузка схемы и вызов функции — отображаются в interaction.steps. Это позволяет при отладке проверять, какие инструменты рассматривала модель. После вызова функция работает как обычно: код приложения выполняет её и возвращает результат.

Для серверного поиска не нужно создавать или размещать собственный индекс: поиск выполняет Gemini. Разработчик может оставить часто используемые инструменты загруженными заранее, а остальные отложить. Функция также совместима с удалёнными MCP-серверами: если установить defer_loading: true для mcp_server, инструменты сервера будут загружаться по запросу, без перечисления каждого из них в настройке.

Если у разработчика уже есть собственный реестр инструментов, индекс эмбеддингов или фильтр разрешений пользователей, можно настроить tool_search с execution: "client" и задать параметры поиска. Тогда поиск выполняет приложение, и каждый такой поиск добавляет один дополнительный обмен с API. Инструменты не требуется объявлять заранее, поэтому новые интеграции можно подключать прямо во время разговора.

Отложенные схемы также совместимы с кэшированием префикса: они не попадают в начало промпта, а добавляются позже по мере загрузки, сохраняя кэшируемый префикс между ходами.

Совместимые модели и оплата

Tool Retrieval работает в Interactions API с моделями Gemini 3.6 и новее, включая все модели Gemini 4. Отдельной платы за функцию нет: входные и выходные токены тарифицируются по стандартным ставкам выбранной модели.

Включение tool_search добавляет небольшой фиксированный объём входных токенов. Схема каждого загруженного инструмента учитывается как входные токены до конца разговора — так же, как если бы инструмент был объявлен заранее. Экономия возникает, если токены схем, которые так и не понадобились, перевешивают расходы на загруженные схемы. Google рекомендует оценивать результат на собственном трафике.