Шесть оценщиков получили доступ к внутренним системам

Anthropic сообщила, что предоставила шести сотрудникам METR оборудование, офисные места и доступ к внутренним инструментам и системам. По оценке компании, уровень доступа примерно сопоставим с тем, который есть у её собственной команды оценки рисков.

Сотрудникам Anthropic предложили делиться с оценщиками информацией так же, как с коллегами, работающими над рисками согласования моделей. Исключения включают данные о клиентах, материалы, защищённые адвокатской тайной, и сведения об архитектуре моделей.

METR сможет публиковать анализ уровней риска, инцидентов и практик Anthropic без права компании наложить вето. При этом Anthropic может потребовать удалить информацию из заранее определённых узких категорий. METR вправе публично оценить обоснованность таких ограничений, не раскрывая удалённые сведения. Компания подчёркивает, что доступ предоставлен небольшой команде по соглашениям и не открывает информацию другим сотрудникам METR или партнёрам.

Компания описала три уровня доступа оценщиков

Первый уровень предполагает узкую проверку: Anthropic определяет доступ, а оценщики публикуют выводы с одобрения компании. На втором уровне публикация не требует одобрения; оценщикам доступно больше информации, но компания может потребовать удалить отдельные категории данных, а оценщики — высказаться об обоснованности удаления.

Взаимодействие с METR компания относит к третьему уровню: он предусматривает доступ, близкий к доступу сотрудников, и права на публикацию, аналогичные второму уровню. Anthropic заявляет, что со временем рассчитывает привлечь к этому уровню несколько независимых оценщиков, каждый из которых будет публиковать собственный анализ.

Другие партнёрства пока находятся на ранних этапах

Сейчас SecureBio работает на первом уровне. Организация проверяет раздел о химическом и биологическом оружии в августовском отчёте Anthropic о рисках. До этого она завершила и опубликовала пилотную проверку предыдущего отчёта. После текущей работы стороны рассмотрят возможность проектов с более широким доступом и правами на публикацию.

С Accenture и Faculty Anthropic работает над партнёрством, которое должно охватывать оценку и стресс-тестирование моделей, проверку согласования и защитных механизмов, а также развитие компетенций организаций. По словам компании, на ранних этапах такие партнёры получают более ограниченный доступ и имеют более узкие права на публикацию.

Anthropic объясняет подход тем, что часть сведений о безопасности может быть полезна злоумышленникам или относиться к коммерчески чувствительной информации. Компания считает независимую оценку способом повысить публичную подотчётность, не раскрывая такие данные полностью.