Как изменилась модерация

Runway сообщила, что за последние два года изменила систему модерации, чтобы лучше поддерживать творческие работы, содержащие конфликт, опасность или насилие, и продолжать блокировать контент, способный причинить реальный вред.

Раньше платформа полагалась на сторонние классификаторы с фиксированными категориями, например «кровь» и «оружие». Они не всегда отличали вымышленное сражение от реального насилия, а похожий контент мог получать разные оценки. По словам Runway, из-за этого приходилось блокировать больше материалов, чем компания хотела: фильтры могли срабатывать даже на небольшую царапину, кетчуп или красную краску.

Теперь Runway использует большие языковые модели для настройки правил под собственную политику и более контекстной проверки материалов. Компания утверждает, что может обновлять правила за часы или минуты, а сама модерация стала точнее в обе стороны: реже ограничивает допустимые работы и лучше выявляет запрещённые.

Runway описала изменения в публикации о модерации.

Какие сцены допускают правила

По описанию компании, обновлённая система позволяет пропускать сцены с фехтованием, перестрелками, сражениями и ужасами, отделяя творческое изображение насилия от контента, который Runway считает вредным. Среди примеров запрещённых материалов компания назвала насилие, направленное против защищённых групп, и воссоздание атак насильственных экстремистов.

Runway также заявила, что улучшения помогают точнее выявлять попытки создать сексуализированный контент с участием несовершеннолетних и интимные изображения без согласия.

Какие ограничения остаются

Модели сторонних поставщиков, доступные на Runway, могут применять собственную модерацию и блокировать запрос, который разрешает сама платформа. Runway сообщила, что добавила более понятные сообщения об ошибках, когда ограничение связано со сторонней моделью.

Компания отмечает и другие ограничения: языковые модели могут чрезмерно реагировать на неоднозначные слова или пропускать вредный контент, представленный как вымысел. Кроме того, системе иногда не хватает контекста, чтобы отличить допустимый сюжет от запроса, связанного с реальным злоупотреблением. В таких случаях Runway может заблокировать допустимый вариант, чтобы предотвратить вред.

Если пользователь считает решение модерации ошибочным, Runway предлагает нажать кнопку «Send Feedback» внизу сообщения об ошибке. По словам компании, обратная связь помогает улучшать правила и систему.