|
Опрос
|
реклама
Быстрый переход
Представлена ИИ-модель YandexART 2.0 с поддержкой генерации текста на изображениях
10.10.2024 [17:09],
Павел Котов
«Яндекс» выпустил YandexART 2.0 — генератор картинок нового поколения. Нейросеть научилась создавать надписи на изображении и выдерживать на одной картинке сразу несколько стилей; объекты в пространстве и относительно друг друга теперь располагаются более естественно; а при создании изображений учитывается большее число деталей запроса.
Источник изображений: «Яндекс» Отличительной особенностью YandexART 2.0 является гибридная архитектура нейросети, сочетающая черты свёрточной и трансформерной моделей. Свёрточная модель работает по принципу человеческого глаза, определяя ключевые признаки объекта, например, его форму, текстуру и края, но она ограничена в длине контекста, поэтому в длинных запросах ей помогает трансформер. Эта архитектура помогает YandexART 2.0 выдерживать несколько жанров в одном изображении — к примеру, она может изобразить анимешную этикетку на фотореалистичной бутылке лимонада. ![]() Для обучения нейросети YandexART 2.0 использовались несколько сотен миллионов пар изображений и текстовых описаний к ним; более точное их соотношение обеспечила дополнительная VLM-модель, при помощи которой картинки анализировались и сопровождались подробными текстовыми описаниями. Массив обучающих данных был расширен за счёт нескольких сотен тысяч изображений с текстом — это помогло YandexART 2.0 дополнять картинки надписями латинскими буквами. ![]() «Яндекс» также разработал собственную систему оценки качества работы для генератора изображений: новая модель выиграла у Midjourney v6.1 по критериям комплексности и эстетичности в 66 % и 58 % случаев соответственно, а также приблизилась к нему в аспекте релевантности запросам. ![]() Бизнес-пользователи могут поработать с YandexART 2.0 на платформе Yandex Cloud — при помощи API можно интегрировать генератор изображений в любые приложения; есть возможность протестировать её работу в демонстрационном режиме для подбора оптимальных запросов. Корпоративные клиенты могут генерировать логотипы, иллюстрации для статей, презентаций или социальных сетей. ![]() Визуальная нейросеть доступна также частным пользователям в веб-версии «Алисы» и собственном приложении виртуального помощника; владельцы бесплатных учётных записей могут запросить до пяти изображений в сутки, а у подписчиков опции «Алиса Про» такое ограничение отсутствует. С YandexART 2.0 можно создать аватарку для соцсетей, значок приложения, принт для футболки, открытку для друга или иллюстрацию для публикации. Представлена нейросеть YandexART (Vi) для создания пятисекундных видео
04.09.2024 [13:22],
Павел Котов
«Яндекс» сообщил о разработке бета-версии нейросети YandexART (Vi), которая предназначена для создания роликов длиной пять секунд. Она правдоподобно изображает движения объектов — это могут быть морские волны, человек или животное.
Источник изображения: «Яндекс» На практике компания предлагает использовать созданные моделью видео для установки анимированных заставок на телефон; нейросеть пригодится также блогерам и представителям творческих профессий. Воспользоваться YandexART (Vi) можно в приложении «Шедеврум». Предыдущую версию нейросети для генерации видео по текстовому запросу «Яндекс» представил в августе прошлого года — она создавала анимацию, в которой изображалось движение камеры, а не объекта, да и сами объекты на разных кадрах могли заметно отличаться. Особенностью YandexART (Vi) является её способность воспроизводить реалистичные движения, учитывая связь между кадрами, благодаря чему объекты в кадре движутся плавно и правдоподобно. Для этого модель обучали на роликах с движущимися объектами — например, это были едущий автомобиль или крадущийся кот. Для работы с функцией генерации видео пользователю достаточно текстом описать, что он хочет увидеть в кадре. Сначала нейросеть создаёт изображение, с которого будет начинаться анимационный ряд, а затем превращает цифровой шум в последовательность кадров в соответствии с запросом и образцом — первым кадром. |