Вместо повторов — параллельные варианты

Исследователи Adobe Research и UC San Diego описали EditAgent — систему, которая разбивает запрос на шаги и для каждого подбирает подходящий инструмент. В отличие от типичного подхода с повторными попытками в одном редакторе, EditAgent параллельно создаёт несколько вариантов и сравнивает их. Подробности метода авторы изложили в научной статье.

В испытании на 600 задачах универсальный редактор Flux-2-Klein-9B не дал пригодного результата в 42,7% случаев. Специализированные инструменты устранили примерно две трети таких неудач, особенно при повышении резкости, повороте и увеличении изображения. Дополнительные попытки с тем же редактором почти не помогали.

В сравнениях, где пять профессиональных оценщиков выбрали один из вариантов, они предпочли параллельные версии, созданные из исходного изображения, в 78,5% случаев. По данным исследователей, последовательное редактирование может накапливать небольшие ошибки, поскольку каждый новый шаг опирается на уже изменённое изображение. Агенту также потребовалось вдвое меньше проходов оценки.

Оценка с увеличением и измерениями

Для каждого варианта EditAgent формирует запись проверки: крупный план отредактированной области, карту изменений и измеренные показатели яркости и цвета. Затем языковая модель сравнивает варианты за один проход. В примере с просьбой слегка осветлить фотографию измерения показали, что универсальный редактор пересветил её и сделал цвета теплее, тогда как специализированный инструмент остался в заданных пределах.

Исследователи проверили и модели-оценщики на том же наборе из 600 правок. Без записи проверки ни одна из семи протестированных языковых моделей не достигла результата лучшей модели, настроенной на человеческие оценки. С такими данными все семь превзошли каждую из проверенных дообученных моделей. Qwen3.8-27B выбирала пригодный результат в 81,3% случаев, а EditScore-72B — в 74,8%.

После каждого раунда система проверяет, не отменили ли последующие изменения предыдущие. Например, если просьба добавить дневной свет делает ранее матовое окно прозрачным, агент обнаруживает конфликт и возвращает матовое стекло, сохраняя более яркое освещение.

Результаты и цена вычислений

По результатам работы, EditAgent улучшил открытые редакторы Qwen-Image-Edit-2511 и Flux-2-Klein-9B в трёх бенчмарках и обошёл семь других ИИ-агентов. На EdiVal вариант на основе Qwen в третьем раунде редактирования немного опередил Seedream 4.0 и GPT-Image-1.5.

Система требует примерно в десять раз больше вычислений, чем один редактор, а её результаты зависят от подключённых инструментов. Авторы также использовали проверенные результаты EditAgent для создания около 26 000 обучающих примеров. Редакторы, дообученные на этих данных, показали лучшие результаты на всех трёх бенчмарках; данные, напрямую сгенерированные FLUX, напротив, ухудшили результаты FLUX.

Подход относится к классу ИИ-агентов, которые выполняют задачи через инструменты и проверяют результат; подробнее о принципе работы таких систем — в разборе различий между агентом и чат-ботом.