«Яндекс» выпустил YandexART 2.0 — генератор картинок нового поколения. Нейросеть научилась создавать надписи на изображении и выдерживать на одной картинке сразу несколько стилей; объекты в пространстве и относительно друг друга теперь располагаются более естественно; а при создании изображений учитывается большее число деталей запроса.

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Источник изображений: «Яндекс»

Отличительной особенностью YandexART 2.0 является гибридная архитектура нейросети, сочетающая черты свёрточной и трансформерной моделей. Свёрточная модель работает по принципу человеческого глаза, определяя ключевые признаки объекта, например, его форму, текстуру и края, но она ограничена в длине контекста, поэтому в длинных запросах ей помогает трансформер. Эта архитектура помогает YandexART 2.0 выдерживать несколько жанров в одном изображении — к примеру, она может изобразить анимешную этикетку на фотореалистичной бутылке лимонада.

Для обучения нейросети YandexART 2.0 использовались несколько сотен миллионов пар изображений и текстовых описаний к ним; более точное их соотношение обеспечила дополнительная VLM-модель, при помощи которой картинки анализировались и сопровождались подробными текстовыми описаниями. Массив обучающих данных был расширен за счёт нескольких сотен тысяч изображений с текстом — это помогло YandexART 2.0 дополнять картинки надписями латинскими буквами.

«Яндекс» также разработал собственную систему оценки качества работы для генератора изображений: новая модель выиграла у Midjourney v6.1 по критериям комплексности и эстетичности в 66 % и 58 % случаев соответственно, а также приблизилась к нему в аспекте релевантности запросам.

Бизнес-пользователи могут поработать с YandexART 2.0 на платформе Yandex Cloud — при помощи API можно интегрировать генератор изображений в любые приложения; есть возможность протестировать её работу в демонстрационном режиме для подбора оптимальных запросов. Корпоративные клиенты могут генерировать логотипы, иллюстрации для статей, презентаций или социальных сетей.

Визуальная нейросеть доступна также частным пользователям в веб-версии «Алисы» и собственном приложении виртуального помощника; владельцы бесплатных учётных записей могут запросить до пяти изображений в сутки, а у подписчиков опции «Алиса Про» такое ограничение отсутствует. С YandexART 2.0 можно создать аватарку для соцсетей, значок приложения, принт для футболки, открытку для друга или иллюстрацию для публикации.

«Яндекс» сообщил о разработке бета-версии нейросети YandexART (Vi), которая предназначена для создания роликов длиной пять секунд. Она правдоподобно изображает движения объектов — это могут быть морские волны, человек или животное.

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Источник изображения: «Яндекс»

На практике компания предлагает использовать созданные моделью видео для установки анимированных заставок на телефон; нейросеть пригодится также блогерам и представителям творческих профессий. Воспользоваться YandexART (Vi) можно в приложении «Шедеврум».

Предыдущую версию нейросети для генерации видео по текстовому запросу «Яндекс» представил в августе прошлого года — она создавала анимацию, в которой изображалось движение камеры, а не объекта, да и сами объекты на разных кадрах могли заметно отличаться.

Особенностью YandexART (Vi) является её способность воспроизводить реалистичные движения, учитывая связь между кадрами, благодаря чему объекты в кадре движутся плавно и правдоподобно. Для этого модель обучали на роликах с движущимися объектами — например, это были едущий автомобиль или крадущийся кот.

Для работы с функцией генерации видео пользователю достаточно текстом описать, что он хочет увидеть в кадре. Сначала нейросеть создаёт изображение, с которого будет начинаться анимационный ряд, а затем превращает цифровой шум в последовательность кадров в соответствии с запросом и образцом — первым кадром.