Adobe добавила в графический редактор Photoshop несколько новых инструментов генеративного искусственного интеллекта, основанных на модели Firefly Image 3. Эти инструменты уже сегодня работают в бета-версии программы, а некоторое время спустя они станут общедоступными.

Источник изображения: adobe.com

Наиболее примечательный инструмент — «Эталонное изображение» (Reference Image). Он позволяет пользователю загрузить картинку как референс, на основе которого система будет генерировать своё изображение, используя похожие по стилю и цвету элементы. Это значительно упростит пользователям постановку задачи — им не потребуется составлять подробные запросы, если можно просто задать образец.

Adobe ожидает, что пользователь будет использовать в качестве эталонов лишь те изображения, на которые он имеет права — соответствующее предупреждение он увидит при первой попытке использовать инструмент. Компания разрабатывает универсальную метку «не обучать» (do not train) в рамках программы Adobe Content Authenticity Initiative — её наличие не позволит использовать картинку в качестве образца для ИИ. В Adobe заверили, что эталоны не будут применяться для дальнейшего обучения Firefly; зато полученный при помощи этого инструмента результат сможет свободно использоваться в коммерческих целях.

Среди прочих инструментов на основе генеративного ИИ значатся «Генерировать фон» (Generate Background), позволяющий создавать и заменять фоны для продуктов, и «Улучшить детализацию» (Enhance Detail), повышающий чёткость и резкость изображения. Доступны функции «Генерировать подобное» (Generate Similar) для создания похожего контента и «Генерировать изображение» для создания первого варианта картинки с нуля.

Модель Adobe Firefly третьего поколения по сравнению с предшественницей позволяет создавать изображения более высокого качества: она понимает длинные текстовые запросы, поддерживает генерацию более чёткого текста и предлагает «фотореализм как никогда раньше с улучшенными освещением, позиционированием и вниманием к деталям». Поработать с её бета-версией можно не только в предварительном издании Photoshop, но и через собственное веб-приложение.

В обновлённый Photoshop добавились и некоторые традиционные технические средства: корректирующая кисть для внесения небольших изменений во фрагменты изображения, «Предустановленные настройки» (Adjustment Presets) для быстрого применения фильтров и улучшенный «Навигатор шрифтов» (Font Browser) с доступом к коллекции из более чем 25 000 шрифтов в облаке Adobe.

После почти двух лет бета-тестирования Adobe представила для всех подписчиков веб-сервис Photoshop — упрощённую онлайн-версию своего настольного приложения для редактирования изображений. В веб-сервисе сразу будут доступны популярные инструменты на базе искусственного интеллекта Generative Fill («Генеративная заливка») и Generative Expand («Генеративное расширение»), которые недавно появились в настольной версии Photoshop.

Источник изображений: Adobe

Новые функции, основанные на генеративной модели ИИ Adobe Firefly, доступны для коммерческого использования и позволяют пользователям быстро добавлять, удалять или расширять изображение с помощью текстовых описаний на более чем 100 языках, при этом сохраняя условия освещения и перспективу исходного изображения.

Веб-сервис Photoshop также предоставляет многие из наиболее часто используемых инструментов своего настольного аналога, но с «упрощённым» пользовательским интерфейсом. Инструменты со схожими рабочими процессами сгруппированы на контекстной панели инструментов для помощи новичкам, опытные пользователи могут переключиться на привычный им внешний вид пользовательского интерфейса для ПК.

Adobe собирается активно развивать онлайн-версию Photoshop и обещает в скором времени добавить множество важных функций, таких как «Заплатка», «Перо», «Многоугольное лассо» и поддержку смарт-объектов. Веб-сервис предоставляет подписчикам возможность приглашать других пользователей для совместной работы над проектами и позволяет тем, у кого нет подписки, просматривать и комментировать файлы.

Веб-сервис Photoshop включён во все платные подписки Photoshop, стоимость которых начинается от $9,99 в месяц, и пока у компании нет планов предоставлять его бесплатную версию пользователям.

Adobe тестировала бесплатную веб-версию Photoshop ещё в июне 2022 года, но недавно старший вице-президент Adobe по цифровым медиа Эшли Стилл (Ashley Still) заявила, что у компании «нет непосредственных планов по созданию бесплатного или условно-бесплатного предложения». По её словам, потенциальные пользователи могут протестировать веб-сервис Photoshop с помощью «бесплатных интерактивных демонстраций» и обучающих материалов на сайте Adobe перед оформлением подписки.

Бета-версия графического редактора Adobe Photoshop получила новый ИИ-инструмент, который позволяет пользователям масштабировать изображения, добавлять или удалять объекты с помощью текстовых подсказок. Функция называется Generative Fill и построена на базе набора генеративных ИИ-моделей Firefly для работы с изображениями.

Источник изображений: Adobe

Функция похожа на существующий в Photoshop инструмент Content-Aware Fill, но предоставляет пользователю больше возможностей для творчества. Новинка не станет большим сюрпризом для создателей контента, знакомых с инструментами генерации изображений с помощью искусственного интеллекта Firefly, но интеграция этой технологии Photoshop позволит компании привлечь к продукту более широкую аудиторию.

Помимо функциональности, важным элементом Firefly является источник данных для обучения. Adobe утверждает, что модель обучена только на том контенте, который компания имеет право использовать — будь то изображения из Adobe Stock, контент с открытой лицензией и контент без каких-либо ограничений авторских прав. Теоретически это означает, что всё, что создано с помощью функции Generative Fill, должно быть безопасным для коммерческого использования по сравнению с моделями ИИ, которые менее прозрачны в отношении своих учебных данных. Generative Fill также поддерживает Content Credentials, систему, которая прикрепляет сведения об авторстве к изображениям перед их размещением в интернете, информируя о том, был ли контент создан или отредактирован с помощью ИИ.

Generative Fill пока недоступна в полной версии Photoshop, однако её можно опробовать уже сегодня, загрузив бета-версию приложения для настольных компьютеров или в качестве модуля в бета-версии Firefly. Adobe говорит, что полноценный релиз состоится во второй половине 2023 года.

Исследователи из Института Макса Планка представили ИИ-модель DragGAN, которая позволяет манипулировать изображениями практически в режиме реального времени. Инструмент похож на функцию «Искривление» в Photoshop, но гораздо мощнее, так как пользователь не просто перемещает пиксели, а использует искусственный интеллект для повторного создания базового объекта. Более того он позволяет вращать изображения, как если бы они были в 3D-формате.

Источник изображения: arxiv.org / Drag Your GAN

DragGAN может не только изменять размеры объекта на изображении или превращать улыбку в хмурое выражение лица простым щелчком мыши, но и поворачивать его таким образом, как если бы это была 3D-модель. Например, можно изменить направление лица человека. Приведённые ниже видео взяты с сайта исследовательской группы. Полный текст исследовательской работы можно прочитать на сайте arXiv.

Как отмечает команда разработчиков, то, что действительно интересно в этой работе, это не манипуляция изображениями как таковая, а пользовательский интерфейс. Мы уже давно можем использовать инструменты ИИ, такие как GANs, для создания реалистичных изображений, но большинству методов не хватает гибкости и точности. Вы можете сказать генератору изображений ИИ: «Сделай изображение льва, наблюдающего за саванной», и получите его, но может оказаться, что лев сидит не совсем в той позе, которая вам нужна.

DragGAN предлагает решение этой проблемы. Интерфейс точно такой же, как и в традиционных редакторах изображений, но вместо того, чтобы просто размазывать существующие пиксели, модель создаёт объект заново. Исследователи пишут: «Наш подход не только может создавать окклюзию объектов, но и может деформировать их в соответствии с жёсткостью, например, при сгибании ноги лошади».

Пока это только демонстрация, которая не даёт оценить технологию полностью, но это ещё один пример того, как сделать манипуляции с изображениями с помощью ИИ более доступными.

Компания Adobe рассказала о новых возможностях, которые получила очередная версия графического редактора Photoshop: речь идёт о вариантах для ПК, iPad, а также веб-варианте программы. Разработчик усовершенствовал работу инструмента выделения объектов, нейрофильтров, а также расширил возможности веб-версии и приложения для iPad.

Источник изображения: blog.adobe.com

Значительно усовершенствованный в 2020 году инструмент «Выделение объектов», подсвечивающий их при наведении указателя мыши, научился распознавать сложные объекты: небо, здания, воду, растения, горы, тротуары и улицы. Совместно с сочетанием клавиш Shift + Delete функция позволяет не только быстро выделять, но и удалять и производить заливку объектов.

В 2020 году также появилась функция нейрофильтров (Neural Filters), позволяющая быстро производить существенные изменения в изображении, в том числе разглаживать кожу, изменять выражения лица, а также переносить стили известных художников. В новой версии Photoshop компания добавила новый фильтр, отвечающий за восстановление старых снимков. Он работает на основе алгоритмов машинного обучения, самостоятельно распознавая и ликвидируя царапины с другими мелкими дефектами.

Версия для iPad пополнилась очередным комплектом инструментов, доступных в варианте для ПК. В частности, одним касанием теперь можно удалять фон изображения или производить заливку с учётом содержимого. Улучшена работа функции выбора объекта на портретных снимках, добавлены средства коррекции тона, контраста и цвета в одно касание. Наконец, Adobe продолжила дорабатывать веб-версию Photoshop, запущенную в режиме ограниченного тестирования в прошлом году, — здесь тоже появились функции выделения и заливки объектов, а также удаления фона.