Низкая загрузка не отменяет планов на покупку

В сентябрьском опросе VentureBeat Intelligence 55 из 68 респондентов, чьи компании используют ИИ в производстве и сообщили данные о загрузке GPU, указали средний уровень не выше 50%. Это 81% ответивших на вопрос. При этом 71% компаний из этой группы собираются в течение 12 месяцев внедрить новую, дополнительную или заменяющую платформу для ИИ-инфраструктуры. Данные опубликованы в отчёте VB Pulse об инфраструктуре и вычислениях.

Всего в опросе участвовали 102 квалифицированных респондента из организаций со штатом от 100 человек; некоторые консультанты отвечали за своего основного клиента. Результаты основаны на самоотчётах добровольно отобравшейся группы, поэтому их нельзя автоматически переносить на все компании. Среди 68 участников, сообщивших загрузку GPU, остальные 13 указали уровень выше 50%.

Результаты опубликованы на фоне призыва генерального директора Nvidia Дженсена Хуанга создавать собственные «ИИ-фабрики». На выступлении GTC Berlin 21 октября он сказал: «Чтобы быть частью экономики ИИ, не стоит только потреблять ИИ — нужно его производить». В записи выступления Хуанг представил эту идею как способ для компаний участвовать в производстве ИИ.

Планы опережают финансовую оценку

По всему опросу 63% респондентов планировали в течение года новую, дополнительную или заменяющую платформу. При этом только 10% сообщили, что финансовый отдел проверил и утвердил показатель окупаемости ИИ-инфраструктуры. Среди планирующих смену или расширение платформы у 91% такого расчёта не было. Среди тех, кто не собирался менять платформу, финансово подтверждённого показателя не было у 89%; разница статистически незначима.

Это означает, что многие решения о следующей платформе принимаются без утверждённой финансовым отделом оценки отдачи от уже работающей инфраструктуры. По данным опроса, средняя оценка удовлетворённости основной платформой составила 4,0 из 5, удобства внедрения — 3,9, а соотношения цены и пользы — 3,6.

Предлагается считать стоимость выполненной задачи

Автор материала предлагает оценивать агентные системы по стоимости успешно выполненной задачи, а не только по цене токенов или доступности GPU. В расчёт, по его мнению, нужно включать генерацию и поиск данных, хранение, повторные попытки и работу человека. Финансовый отдел должен сопоставлять расходы с результатом относительно заранее согласованной базовой линии.

При этом успеху нужен критерий качества: неверно закрытое обращение не должно считаться выполненной задачей, а исправление неудачного изменения кода следует учитывать в её стоимости. Такой подход связывает технические решения с конечным эффектом, но сам опрос не проверял его как метод и не измерял стоимость задач.

Интеграция важна не меньше производительности

Среди факторов выбора инфраструктуры 48% респондентов отметили интеграцию с существующими облачными и дата-платформами, 42% — производительность, 35% — доступность GPU. Различие между первыми двумя показателями не было статистически значимым. Автор предлагает сначала определить, где конкретный рабочий процесс теряет время, повторяет действия или расходует ресурсы без улучшения результата.

Возможным решением может оказаться не более крупная модель, а другой способ поиска информации, настройки её контекста, обслуживания запросов или распределения работы между моделями и инструментами. Материал также различает три вида «памяти»: долговременные знания организации, состояние незавершённой задачи агента и вычисления, используемые при обслуживании модели. Это аналитическая рамка автора, а не вывод, который проверял опрос.

Сначала определить узкое место

Практический вывод автора — начинать решение о покупке с конкретного сценария работы агента. Владельцу продукта следует определить, что считается успешным результатом и какая помощь человека допустима; команде данных — указать авторитетные источники информации и правила доступа. Инженерам предлагается измерять задержки, загрузку, работу кэширования и общие эксплуатационные расходы.

После этого стоит согласовать с финансовой командой базовый уровень и проверять эффект, меняя по одной части архитектуры за раз. Такой порядок позволяет выяснить, помогает ли новая платформа или настройка снизить стоимость качественно выполненной задачи, а не просто увеличить доступные вычислительные мощности.