Бета-версия графического редактора Adobe Photoshop получила новый ИИ-инструмент, который позволяет пользователям масштабировать изображения, добавлять или удалять объекты с помощью текстовых подсказок. Функция называется Generative Fill и построена на базе набора генеративных ИИ-моделей Firefly для работы с изображениями.

Источник изображений: Adobe

Функция похожа на существующий в Photoshop инструмент Content-Aware Fill, но предоставляет пользователю больше возможностей для творчества. Новинка не станет большим сюрпризом для создателей контента, знакомых с инструментами генерации изображений с помощью искусственного интеллекта Firefly, но интеграция этой технологии Photoshop позволит компании привлечь к продукту более широкую аудиторию.

Помимо функциональности, важным элементом Firefly является источник данных для обучения. Adobe утверждает, что модель обучена только на том контенте, который компания имеет право использовать — будь то изображения из Adobe Stock, контент с открытой лицензией и контент без каких-либо ограничений авторских прав. Теоретически это означает, что всё, что создано с помощью функции Generative Fill, должно быть безопасным для коммерческого использования по сравнению с моделями ИИ, которые менее прозрачны в отношении своих учебных данных. Generative Fill также поддерживает Content Credentials, систему, которая прикрепляет сведения об авторстве к изображениям перед их размещением в интернете, информируя о том, был ли контент создан или отредактирован с помощью ИИ.

Generative Fill пока недоступна в полной версии Photoshop, однако её можно опробовать уже сегодня, загрузив бета-версию приложения для настольных компьютеров или в качестве модуля в бета-версии Firefly. Adobe говорит, что полноценный релиз состоится во второй половине 2023 года.

Исследователи из Института Макса Планка представили ИИ-модель DragGAN, которая позволяет манипулировать изображениями практически в режиме реального времени. Инструмент похож на функцию «Искривление» в Photoshop, но гораздо мощнее, так как пользователь не просто перемещает пиксели, а использует искусственный интеллект для повторного создания базового объекта. Более того он позволяет вращать изображения, как если бы они были в 3D-формате.

Источник изображения: arxiv.org / Drag Your GAN

DragGAN может не только изменять размеры объекта на изображении или превращать улыбку в хмурое выражение лица простым щелчком мыши, но и поворачивать его таким образом, как если бы это была 3D-модель. Например, можно изменить направление лица человека. Приведённые ниже видео взяты с сайта исследовательской группы. Полный текст исследовательской работы можно прочитать на сайте arXiv.

Как отмечает команда разработчиков, то, что действительно интересно в этой работе, это не манипуляция изображениями как таковая, а пользовательский интерфейс. Мы уже давно можем использовать инструменты ИИ, такие как GANs, для создания реалистичных изображений, но большинству методов не хватает гибкости и точности. Вы можете сказать генератору изображений ИИ: «Сделай изображение льва, наблюдающего за саванной», и получите его, но может оказаться, что лев сидит не совсем в той позе, которая вам нужна.

DragGAN предлагает решение этой проблемы. Интерфейс точно такой же, как и в традиционных редакторах изображений, но вместо того, чтобы просто размазывать существующие пиксели, модель создаёт объект заново. Исследователи пишут: «Наш подход не только может создавать окклюзию объектов, но и может деформировать их в соответствии с жёсткостью, например, при сгибании ноги лошади».

Пока это только демонстрация, которая не даёт оценить технологию полностью, но это ещё один пример того, как сделать манипуляции с изображениями с помощью ИИ более доступными.