Что Nvidia и Oracle предлагают клиентам

Nvidia и Oracle объявили об общей доступности систем Vera Rubin NVL72 и отдельных процессоров Vera в Oracle Cloud Infrastructure (OCI). Компании также намерены расширить свои Supercluster до масштаба нескольких гигаватт. Это планы развития инфраструктуры поставщиков, а не требование к размеру клиентского развёртывания.

Партнёры предлагают масштабировать CPU и GPU независимо друг от друга. По их замыслу, это позволит заказчикам подбирать мощности под разные этапы работы ИИ-систем и сократить неиспользуемые ресурсы. Насколько такой подход снизит затраты, зависит от задач конкретной организации.

Опрос показывает проблему загрузки GPU, но не её причины

В опросах VentureBeat Intelligence за июль, август и сентябрь 79% из 218 респондентов сообщили, что загрузка их GPU составляет 50% или меньше. При этом 70% респондентов из этой группы планируют менять платформы. Исследование охватывает организации со штатом не менее 100 человек, в том числе консультантов, отвечающих за клиентов; это самоотчёты, а не аудит оборудования. VentureBeat приводит эти данные как контекст для оценки обещаний об эффективности.

Низкая загрузка сама по себе не объясняет, почему простаивает GPU. Если он ждёт, пока CPU выполнит код агента, более быстрый процессор может помочь; если же нет очереди задач, апгрейд CPU не создаст спрос. Ограничения также могут быть связаны с удалёнными сервисами, доступом к базам данных или устройством приложения. Это возможные причины для проверки, а не выводы опроса.

Для чего нужна отдельная Vera CPU

Nvidia позиционирует Vera для задач вокруг запуска моделей: координации агентов, выполнения кода в изолированных средах, обработки данных и поддержки обучения с подкреплением. По описанию Oracle, процессоры будут доступны через серверы без виртуализации и гибкие виртуальные машины. Отдельное предложение позволяет развернуть CPU-сервисы независимо от GPU-инфраструктуры.

Oracle приводит заявление Nvidia о производительности до 80% выше на задачах, связанных с ИИ-агентами, по сравнению с ведущими x86-процессорами. Однако компания уточняет, что результат получен в тестах платформы Nvidia, а не на экземплярах OCI. Поэтому это показатель из тестирования поставщика, а не подтверждённый выигрыш для приложений заказчика.

Для оценки миграции компании стоит сравнить один и тот же рабочий процесс на текущей инфраструктуре и на Vera: учитывать успешность выполнения задач, задержки всего процесса, потребление CPU и GPU и полную стоимость, включая оплату API моделей.

Разные конфигурации для разных нагрузок

В качестве клиента Oracle и Nvidia приводят OpenAI. В совместном анонсе технический директор OpenAI по вычислительной инфраструктуре Удай Руддарраджу заявил, что компания внедряет Vera в производство для поддержки рабочих нагрузок агентов. Oracle также называет среди возможных задач поиск информации, аналитику, координацию агентов и управление парком GPU.

Разработчикам базовых моделей с постоянной нагрузкой могут быть нужны дополнительные GPU и поддерживающая инфраструктура. Предприятиям, которые используют внешние модели или загружают собственные GPU лишь эпизодически, сначала важно установить, какие задачи новая конфигурация позволит выполнять выгоднее.

Помимо доступной NVL72, Oracle планирует конфигурацию Rubin NVL8 с восемью GPU и процессорами Intel Xeon. Она предназначена для обучения, дообучения и инференса с поддержкой приложений x86, но пока заявлена как план, а не как общедоступный продукт. Кроме того, Oracle сообщает, что процессоры Vera будут появляться в отдельных регионах в течение текущего квартала, поэтому заказчикам следует отдельно проверять доступность нужных конфигураций и мощностей.