OpenAI представила классификатор для поиска изображений сексуального насилия над детьми
Компания заявляет, что инструмент реже отмечает изображения ошибочно и помогает отличать материалы, созданные ИИ, от изображений реальных детей. OpenAI также вводит предупреждения и временную блокировку для пользователей ChatGPT, пытающихся создать такие материалы.

Классификатор и его заявленные результаты
OpenAI объявила о классификаторе, который, по словам компании, выявляет изображения сексуального насилия над детьми, в том числе созданные с помощью ИИ. На брифинге в Вашингтоне компания также сообщила о бесплатном доступе к инструменту для проверенных организаций, рекомендациях для разработчиков и обучении правоохранителей. Подробности OpenAI изложила в анонсе о мерах защиты детей в интернете.
По данным OpenAI, классификатор помечает на 48% меньше изображений, чем прежний подход, а среди отмеченных им изображений вероятность обнаружить материалы насилия вдвое выше. Это заявления компании: независимая оценка результатов в публикации не приводится. OpenAI также называет инструмент первым широко доступным классификатором такого рода с отдельной отметкой для материалов, созданных ИИ. Он рассчитан на изображения из разных источников, включая модели с открытым кодом и приложения для изменения изображений.
Рост числа сообщений увеличивает нагрузку на службы
Национальный центр по пропавшим и эксплуатируемым детям США (NCMEC), который принимает и сортирует сообщения о материалах сексуального насилия над детьми, получил 400 000 связанных с генеративным ИИ сообщений в 2025 году против 67 000 в 2024-м. Эти данные опубликованы в материалах NCMEC о генеративном ИИ. Исследователи предупреждали, что увеличение потока может сделать нагрузку на центр неуправляемой.
На брифинге генеральный прокурор Северной Каролины Джефф Джексон назвал рост числа сообщений «взрывным» и сказал, что его продолжение может помешать выполнению миссии центра. Власти США заявляют, что материалы сексуального насилия над детьми незаконны независимо от того, созданы они ИИ или нет. По данным публикации, законы о сексуально откровенных дипфейках приняты в 48 штатах.
В ChatGPT добавят предупреждение и паузу
OpenAI также вводит меры для пользователей, которые попытаются создать такие материалы с помощью генератора изображений ChatGPT: им покажут предупреждение, подготовленное при участии экспертов, и предложат ресурсы для получения помощи. При первом нарушении доступ к ChatGPT приостановят на 24 часа; пользователь также получит предупреждение, что аккаунт могут закрыть навсегда. Компания заявляет, что сообщает NCMEC обо всех случаях обнаружения таких материалов.
Джексон назвал сотрудничество с технологической компанией для предотвращения создания материалов новым подходом и подчеркнул, что пока это эксперимент. Отдельно OpenAI заявляет, что изображения, созданные ИИ, могут соседствовать с материалами, связанными с реальными детьми, поэтому различение этих категорий важно для сортировки сообщений.
Продолжить чтение
В ленте материалов: 1


