По опросу VentureBeat, замена ИИ-модели в рабочем приложении часто занимает недели
Среди компаний, менявших модель в производственной ИИ-системе, 70% респондентов сообщили о нескольких неделях инженерной работы или большем сроке. Простого переключения через шлюз обычно недостаточно: приходится проверять приложение, инструкции и инструменты.

Переключить модель оказалось сложнее, чем изменить настройку
Шлюзы и маршрутизаторы позволяют разработчикам направлять запросы к разным моделям, иногда меняя лишь одну строку кода. Но смена модели внутри приложения, которым уже пользуются клиенты или сотрудники, требует отдельной проверки и может затронуть саму программу.
В октябрьском опросе VentureBeat среди специалистов, работающих с ИИ в компаниях как минимум со 100 сотрудниками, 47% ответили, что за последние 12 месяцев их организация меняла модель в производственной ИИ-системе, сохраняя приложение. Среди ответивших, чьи компании проводили такую замену, 70% сообщили, что на неё ушло несколько недель инженерной работы или больше; 36% — что больше месяца. Почти без усилий, как при изменении настройки, обошлись 13%.
О результатах замены ответили участники той же группы: 55% сообщили, что новая модель работала не хуже прежней или лучше. Остальные 45% выбрали один из двух вариантов: производительность снизилась и пришлось переделывать приложение либо компания вернулась к старой модели.
Результаты опроса и методологические пояснения опубликованы в материале VentureBeat. В опросе также участвовали консультанты: 28% респондентов отвечали о клиенте, на которого тратили больше всего времени.
Новая модель может иначе работать с приложением
Приложение может быть настроено под поведение конкретной модели: инженеры адаптируют инструкции, подключённые инструменты и проверки. После замены эти компоненты могут потребовать доработки. Если для старой модели применяли тонкую настройку на данных компании, её также нельзя автоматически перенести на новую.
В Box, по словам технического директора Бена Куса, тестируют модель и так называемый harness вместе. Это программная оболочка, которая передаёт модели инструкции и управляет доступом к инструментам. В тесте Runta FrontierHarness Eval модель Kimi K3 справилась с 63,3% задач в двух конфигурациях, но медианная стоимость одной пройденной задачи составила $18,34 в Claude Code и $3,28 в конфигурации DeepSeek Harness. Тест включал 30 задач, поэтому его результаты — ориентир, а не исчерпывающее сравнение.
В Upwork приводят и другой аргумент против выбора только по цене токена. В гипотетическом примере небольшой модели стоимостью 10 центов за запуск и успешностью 20% нужно в среднем пять попыток: около 50 центов за удачный результат. Большая модель за 30 центов с успешностью 90% обходится примерно в 33 цента за результат. Пример предполагает, что неудачные запуски повторяют до успеха.
При этом 63,3% и стоимости приведены в таблице результатов бенчмарка; автор материала отдельно предупреждает, что выборка из 30 задач невелика.
Компании проверяют замену на своих задачах
Uber сообщил, что может заменить модель своего управляемого ИИ-агента для проверки кода за пару дней, если открытая модель покажет лучший результат. Компания использует бенчмарки на прошлых изменениях кода и на данных рабочих сессий. По словам инженера Uber, выбор модели для автоматической очистки устаревших флагов функций помог снизить стоимость одной такой операции на 90%. Это заявление компании, а не независимая оценка.
PayPal, по словам руководителя направления ИИ-продуктов Рена Чжана, хранит бизнес-определения, одобренные запросы и инструкции для анализа в отдельном слое знаний. Компания заявила, что благодаря такому слою точность внутреннего помощника выросла с 43% до 95% без смены модели. Отделение бизнес-знаний от модели, по замыслу PayPal, позволяет не перестраивать их при каждом обновлении.
T-Mobile сравнивает старую и новую версии агентской системы на реальных звонках и расширяет запуск, только если новая версия работает лучше. После запуска компания также отслеживает чаты и голосовые сессии: предварительные тесты не охватывают все формулировки и ситуации, с которыми обращаются клиенты.
Сравнение с сентябрём требует оговорки
Доля респондентов, сообщивших о проблемах после замены модели, статистически значимо не изменилась по сравнению с сентябрём. Однако октябрьский рост доли тех, кому потребовалось несколько недель или больше, VentureBeat характеризует как направленную тенденцию, а не как надёжно установленное изменение: состав ответивших отличался.
В частности, в октябре чаще отвечали люди, которые используют ИИ-системы или отслеживают их с точки зрения бизнеса; они чаще сообщали о сроках больше месяца. Если исключить эту группу, 66% участников, чьи компании меняли модель, указали на несколько недель работы или больше, а 29% — на срок свыше месяца. Издание отмечает, что по опросу нельзя определить, какая часть различий между месяцами объясняется составом выборки.
Что проверить перед переключением
Вывод VentureBeat — готовиться к замене заранее: оценивать не только саму модель, но и приложение в той конфигурации, где она будет работать. Практика компаний из материала сводится к нескольким шагам.
- Собрать набор реальных запросов и проверенных ответов, чтобы сравнивать новую версию с прежней.
- Проверять стоимость удачного результата, включая повторные попытки, а не только цену токенов.
- Тестировать модель с теми инструкциями и инструментами, которые будут использоваться в работе; при неудаче проверить и другую программную оболочку.
- Хранить бизнес-знания отдельно от модели, если это возможно.
- Сравнивать старую и новую версии на реальных запросах и продолжать наблюдение после запуска.
Продолжить чтение
В ленте материалов: 1