«Яндекс» выпустил YandexART 2.0 — генератор картинок нового поколения. Нейросеть научилась создавать надписи на изображении и выдерживать на одной картинке сразу несколько стилей; объекты в пространстве и относительно друг друга теперь располагаются более естественно; а при создании изображений учитывается большее число деталей запроса.

Источник изображений: «Яндекс»

Отличительной особенностью YandexART 2.0 является гибридная архитектура нейросети, сочетающая черты свёрточной и трансформерной моделей. Свёрточная модель работает по принципу человеческого глаза, определяя ключевые признаки объекта, например, его форму, текстуру и края, но она ограничена в длине контекста, поэтому в длинных запросах ей помогает трансформер. Эта архитектура помогает YandexART 2.0 выдерживать несколько жанров в одном изображении — к примеру, она может изобразить анимешную этикетку на фотореалистичной бутылке лимонада.

Для обучения нейросети YandexART 2.0 использовались несколько сотен миллионов пар изображений и текстовых описаний к ним; более точное их соотношение обеспечила дополнительная VLM-модель, при помощи которой картинки анализировались и сопровождались подробными текстовыми описаниями. Массив обучающих данных был расширен за счёт нескольких сотен тысяч изображений с текстом — это помогло YandexART 2.0 дополнять картинки надписями латинскими буквами.

«Яндекс» также разработал собственную систему оценки качества работы для генератора изображений: новая модель выиграла у Midjourney v6.1 по критериям комплексности и эстетичности в 66 % и 58 % случаев соответственно, а также приблизилась к нему в аспекте релевантности запросам.

Бизнес-пользователи могут поработать с YandexART 2.0 на платформе Yandex Cloud — при помощи API можно интегрировать генератор изображений в любые приложения; есть возможность протестировать её работу в демонстрационном режиме для подбора оптимальных запросов. Корпоративные клиенты могут генерировать логотипы, иллюстрации для статей, презентаций или социальных сетей.

Визуальная нейросеть доступна также частным пользователям в веб-версии «Алисы» и собственном приложении виртуального помощника; владельцы бесплатных учётных записей могут запросить до пяти изображений в сутки, а у подписчиков опции «Алиса Про» такое ограничение отсутствует. С YandexART 2.0 можно создать аватарку для соцсетей, значок приложения, принт для футболки, открытку для друга или иллюстрацию для публикации.

«Яндекс» сообщил о разработке бета-версии нейросети YandexART (Vi), которая предназначена для создания роликов длиной пять секунд. Она правдоподобно изображает движения объектов — это могут быть морские волны, человек или животное.

Источник изображения: «Яндекс»

На практике компания предлагает использовать созданные моделью видео для установки анимированных заставок на телефон; нейросеть пригодится также блогерам и представителям творческих профессий. Воспользоваться YandexART (Vi) можно в приложении «Шедеврум».

Предыдущую версию нейросети для генерации видео по текстовому запросу «Яндекс» представил в августе прошлого года — она создавала анимацию, в которой изображалось движение камеры, а не объекта, да и сами объекты на разных кадрах могли заметно отличаться.

Особенностью YandexART (Vi) является её способность воспроизводить реалистичные движения, учитывая связь между кадрами, благодаря чему объекты в кадре движутся плавно и правдоподобно. Для этого модель обучали на роликах с движущимися объектами — например, это были едущий автомобиль или крадущийся кот.

Для работы с функцией генерации видео пользователю достаточно текстом описать, что он хочет увидеть в кадре. Сначала нейросеть создаёт изображение, с которого будет начинаться анимационный ряд, а затем превращает цифровой шум в последовательность кадров в соответствии с запросом и образцом — первым кадром.

«Яндекс» представил обновлённую диффузионную нейросеть YandexART 1.3, в которой для генерации графических объектов используется технология латентной диффузии, позволяющая создавать более реалистичные изображения. Кроме того, обучение модели прошло на увеличенном датасете, благодаря чему нейросеть теперь лучше понимает запросы пользователей.

Источник изображений: «Яндекс»

Технология латентной диффузии использует более эффективный подход, чем при каскадной диффузии, формируя промежуточное представление картинки в виде латентного кода — компактного описания, содержащего основную информацию об изображении в сжатой форме, который затем за один шаг разворачивается в полноценное изображение высокого разрешения. Для этого требуется меньше вычислительных ресурсов, а качество итогового изображения получается заметно выше.

Набор данных, используемых для обучения модели, был увеличен в 2,5 раза до более чем 850 млн пар картинок с текстом. При этом в датасет были добавлены синтетические тексты — сгенерированные нейросетью подробные описания изображений. А чтобы YandexART учитывала больше деталей из промта, в ней теперь используются два текстовых энкодера вместо одного. Они обеспечивают распознавание нейросетью текстовых запросов и их перевод на машинный язык.

Кроме того, благодаря обновлению пользователи получили возможность создавать изображения в разных форматах, таких как 16:9, 4:3 или 3:4.

YandexART 1.3 уже применяется в приложении «Шедеврум». В дальнейшем новая версия YandexART появится и в других сервисах «Яндекса».

Мобильной приложение «Шедеврум» компании «Яндекс» теперь может перерисовывать изображения и фотографии пользователей в разных стилях, для чего задействована нейросеть YandexART. В приложении появились «Фильтрумы» — восемь креативных режимов, которые откроют дополнительные возможности для пользователей «Шедеврума».

Источник изображений: yandex.ru

С помощью «Фильтрумов» можно стилизовать свои изображения и снимки под плюшевые или вязаные игрушки, кадры из мультфильмов, пиксельную графику, нарисованные кистью изображения, а также добавить на них атмосферу зимы, неоновое свечение и красочные цветы. Новая функция работает на основе нейросети YandexART, которая полностью перерисовывает исходное изображение в выбранном стиле, сохраняя при этом сходство с оригиналом.

Для взаимодействия с новым инструментом необходимо выбрать один из предлагаемых стилей, после чего остается лишь загрузить из памяти устройства исходное изображение. Обработанные нейросетью изображения можно публиковать в ленте «Шедеврума», а также скачивать, отправлять друзьям, делиться в чатах и др.

Также анонсировано скорое появление в «Шедевруме» новых креативных режимов и функции создания собственных режимов обработки изображений посредством текстовых запросов. Сгенерированными таким образом изображениями можно будет делиться как в самом приложении, так и в соцсетях и мессенджерах. Первый специальный режим называется «Ёлочная игрушка», он появился в приложении в конце прошлого года. С помощью этого режима пользователи сервиса сгенерировали более 4,5 млн новогодних украшений.