Персонажа можно расспросить, а по изображению — перемещаться

Project Screen Test предназначен для разработки ИИ-персонажей для видеоконтента. Сначала автор задаёт черты характера и выбирает голос: из готовых вариантов, по текстовому описанию или на основе загруженного аудио. Затем персонажа можно расспросить о его прошлом, целях, страхах и манерах поведения — примерно как во время видеозвонка. После этого инструмент создаёт анимированные экранные пробы по описанию сцены или ситуации.

Project Sight Span превращает фотографии, картины и иллюстрации в пространство, по которому можно перемещаться и менять точку съёмки. Система достраивает объекты и фон за границами исходного кадра, в том числе то, что оказывается позади зрителя. Предварительный вид 3D-сцены выглядит пикселизированным, но при выборе ракурса качество изображения восстанавливается. По наблюдению The Verge, инструмент сохраняет узнаваемость даже при перемещении татуировок и черт лица на фотографиях.

Экран Project Screen Test для работы с ИИ-персонажем
Project Screen Test позволяет прорабатывать персонажа в диалоге и создавать экранные пробы.

Звуковые эффекты и повторное применение правок

Project Sound Bender создаёт звуковые эффекты для загруженного видеоклипа по текстовому описанию и автоматически синхронизирует их с видео. Для настройки звука предусмотрено квадратное поле: в его углах расположены разные сгенерированные варианты, а пользователь выбирает нужное сочетание, перемещая курсор. Отдельные звуки в углах можно заменить собственными описаниями.

Project Rinse Repeat переносит обработку с одного объекта или человека на других участников того же снимка. Например, после ретуши одного лица инструмент может адаптировать похожие исправления для остальных людей на фотографии. Adobe также показала применение проекта для добавления теней к товарам разных форм и размеров в рекламной графике. Rinse Repeat связан с Photoshop, а перенесённые правки остаются редактируемыми и создаются штатными средствами программы.

Демонстрации пока не означают скорый выпуск

Все четыре проекта — экспериментальные демонстрации возможностей, которые в будущем могут появиться в приложениях Creative Cloud или на платформе Firefly. Adobe не гарантирует, что они станут доступными функциями. В частности, Screen Test пока существует как отдельный творческий эксперимент, и The Verge отмечает, что неясно, будет ли он связан с уже существующими ИИ-инструментами Adobe для видео.

Общий замысел проектов — сделать сложные процессы редактирования фотографий, создания видео и сведения звука более наглядными и интерактивными. Старший ведущий научный сотрудник Adobe Research Гаутам Майсор сказал The Verge, что такие способы управления могут дать профессионалам более точный контроль над результатом. При этом из представленных демонстраций нельзя заключить, какие именно инструменты и когда компания выпустит.