Cohere добавила шифрование во время ИИ-инференса в Model Vault
Новый Encrypted-уровень использует конфиденциальные вычисления на CPU и GPU и должен выдавать клиенту аппаратный отчёт для проверки окружения. Подтверждение границы и публикация всего serving-кода остаются центральными условиями доверия.
Защита охватывает момент обработки запроса
Cohere расширила свой продукт Model Vault для выделенного размещения моделей новым Encrypted-уровнем на основе confidential computing. Обычное шифрование защищает данные на диске и при передаче, но во время обработки запрос модели обычно находится в открытой памяти. По утверждению Cohere, аппаратно изолированная среда позволяет шифровать память и на этапе инференса, чтобы ни провайдер облака, ни операторы, ни сама Cohere не могли прочитать клиентские данные.
Согласно VentureBeat, конфигурация сочетает конфиденциальную виртуальную машину на CPU и GPU Nvidia в режиме confidential computing; для CPU используются Intel TDX или AMD SEV-SNP. Данные расшифровываются только внутри защищённого исполнения, а за его пределами остаются зашифрованными. Ответ также возвращается клиенту зашифрованным и расшифровывается его ключами. Cohere заявляет, что функция уже доступна и на запуске не увеличивает стоимость Model Vault.
Клиенту предлагают проверять аппаратную конфигурацию
Cohere говорит, что для каждого инференса клиент получает attestation report с данными о защищающем запрос оборудовании, программном обеспечении и политиках. Проверка имеет смысл, если заказчик может сопоставить отчёт с доверенной конфигурацией, а не только принять обещание поставщика. Компания также планирует открыть serving-стек Model Vault для независимого аудита; в публикации он ещё не был опубликован.