Видео дня: Adobe показала ИИ-прототипы для быстрого редактирования фото и видео

Развитие технологий искусственного интеллекта обещает упростить задачи редактирования фотографией и изображений. Adobe давно предоставляет подобные инструменты в Photoshop и других своих продуктах. Наиболее известный — Content-Aware Fill (заливка с учётом окружения), интеллектуально заполняющий выделенную область другими участками изображения. Во время последней конференции MAX компания (а точнее её подразделение машинного обучения Sensei) показала два инструмента, развивающие принципы Content-Aware.

Первый из них называется Scene Stitch. В отличие от Content-Aware Fill, он использует для заполнения выбранного участка (обычно это части сцены или объекты, которые необходимо удалить) не информацию из других фрагментов того же изображения, а просматривает онлайн-библиотеку Adobe из сотни миллионов бесплатных и незащищённых правами фотографий, предлагая на выбор дюжину наиболее удачных вариантов.

Таким способом можно не только заполнять небольшие части фотографий, но полностью менять сцену, заменяя половину или даже большую её часть новыми объектами. Разумеется, далеко не всегда это работает хорошо. Adobe собирается и далее улучшать инструмент, чтобы он лучше понимал не только композицию изображения, но и его содержимое (например, рядом с деревьями вставлял другие деревья, а с людьми — людей).

Второй инструмент, показанный под кодовым именем Project Cloak, по сути представляет собой Content Aware Fill для видео. Вообще и ранее при большом желании можно было применить для удаления ненужных объектов интеллектуальное покадровое заполнение нужных участков. Но это было не только сложно, но и результат получался неоднородный, потому что Photoshop работает только с отдельным кадром, не учитывая предыдущие и последующие.

В свою очередь Cloak разрабатывается для видеоредактора After Effects, работает просто и относительно быстро. Вдобавок результат получается существенно лучше — артефакты почти не видны. По словам разработчиков, инструмент заполняет данными область одного кадра, а затем уже на его основе работает с последующими, учитывая изменение перспективы, освещения и так далее. Подобная технология позволит в разы упростить задачу удаления из видео нежелательных объектов вроде туристов у достопримечательностей, татуировок, пятен на рубашке, винтов на неудачных кадрах с квадрокоптера и так далее.