Опрос
|
реклама
Быстрый переход
Представлена ИИ-модель YandexART 2.0 с поддержкой генерации текста на изображениях
10.10.2024 [17:09],
Павел Котов
«Яндекс» выпустил YandexART 2.0 — генератор картинок нового поколения. Нейросеть научилась создавать надписи на изображении и выдерживать на одной картинке сразу несколько стилей; объекты в пространстве и относительно друг друга теперь располагаются более естественно; а при создании изображений учитывается большее число деталей запроса. 
Источник изображений: «Яндекс» Отличительной особенностью YandexART 2.0 является гибридная архитектура нейросети, сочетающая черты свёрточной и трансформерной моделей. Свёрточная модель работает по принципу человеческого глаза, определяя ключевые признаки объекта, например, его форму, текстуру и края, но она ограничена в длине контекста, поэтому в длинных запросах ей помогает трансформер. Эта архитектура помогает YandexART 2.0 выдерживать несколько жанров в одном изображении — к примеру, она может изобразить анимешную этикетку на фотореалистичной бутылке лимонада.  Для обучения нейросети YandexART 2.0 использовались несколько сотен миллионов пар изображений и текстовых описаний к ним; более точное их соотношение обеспечила дополнительная VLM-модель, при помощи которой картинки анализировались и сопровождались подробными текстовыми описаниями. Массив обучающих данных был расширен за счёт нескольких сотен тысяч изображений с текстом — это помогло YandexART 2.0 дополнять картинки надписями латинскими буквами.  «Яндекс» также разработал собственную систему оценки качества работы для генератора изображений: новая модель выиграла у Midjourney v6.1 по критериям комплексности и эстетичности в 66 % и 58 % случаев соответственно, а также приблизилась к нему в аспекте релевантности запросам.  Бизнес-пользователи могут поработать с YandexART 2.0 на платформе Yandex Cloud — при помощи API можно интегрировать генератор изображений в любые приложения; есть возможность протестировать её работу в демонстрационном режиме для подбора оптимальных запросов. Корпоративные клиенты могут генерировать логотипы, иллюстрации для статей, презентаций или социальных сетей.  Визуальная нейросеть доступна также частным пользователям в веб-версии «Алисы» и собственном приложении виртуального помощника; владельцы бесплатных учётных записей могут запросить до пяти изображений в сутки, а у подписчиков опции «Алиса Про» такое ограничение отсутствует. С YandexART 2.0 можно создать аватарку для соцсетей, значок приложения, принт для футболки, открытку для друга или иллюстрацию для публикации. Представлена нейросеть YandexART (Vi) для создания пятисекундных видео
04.09.2024 [13:22],
Павел Котов
«Яндекс» сообщил о разработке бета-версии нейросети YandexART (Vi), которая предназначена для создания роликов длиной пять секунд. Она правдоподобно изображает движения объектов — это могут быть морские волны, человек или животное. 
Источник изображения: «Яндекс» На практике компания предлагает использовать созданные моделью видео для установки анимированных заставок на телефон; нейросеть пригодится также блогерам и представителям творческих профессий. Воспользоваться YandexART (Vi) можно в приложении «Шедеврум». Предыдущую версию нейросети для генерации видео по текстовому запросу «Яндекс» представил в августе прошлого года — она создавала анимацию, в которой изображалось движение камеры, а не объекта, да и сами объекты на разных кадрах могли заметно отличаться. Особенностью YandexART (Vi) является её способность воспроизводить реалистичные движения, учитывая связь между кадрами, благодаря чему объекты в кадре движутся плавно и правдоподобно. Для этого модель обучали на роликах с движущимися объектами — например, это были едущий автомобиль или крадущийся кот. Для работы с функцией генерации видео пользователю достаточно текстом описать, что он хочет увидеть в кадре. Сначала нейросеть создаёт изображение, с которого будет начинаться анимационный ряд, а затем превращает цифровой шум в последовательность кадров в соответствии с запросом и образцом — первым кадром. Художественная нейросеть YandexART с латентной диффузией обновилась до версии 1.3
24.04.2024 [18:47],
Владимир Мироненко
«Яндекс» представил обновлённую диффузионную нейросеть YandexART 1.3, в которой для генерации графических объектов используется технология латентной диффузии, позволяющая создавать более реалистичные изображения. Кроме того, обучение модели прошло на увеличенном датасете, благодаря чему нейросеть теперь лучше понимает запросы пользователей. 
Источник изображений: «Яндекс» Технология латентной диффузии использует более эффективный подход, чем при каскадной диффузии, формируя промежуточное представление картинки в виде латентного кода — компактного описания, содержащего основную информацию об изображении в сжатой форме, который затем за один шаг разворачивается в полноценное изображение высокого разрешения. Для этого требуется меньше вычислительных ресурсов, а качество итогового изображения получается заметно выше.  Набор данных, используемых для обучения модели, был увеличен в 2,5 раза до более чем 850 млн пар картинок с текстом. При этом в датасет были добавлены синтетические тексты — сгенерированные нейросетью подробные описания изображений. А чтобы YandexART учитывала больше деталей из промта, в ней теперь используются два текстовых энкодера вместо одного. Они обеспечивают распознавание нейросетью текстовых запросов и их перевод на машинный язык.  Кроме того, благодаря обновлению пользователи получили возможность создавать изображения в разных форматах, таких как 16:9, 4:3 или 3:4. YandexART 1.3 уже применяется в приложении «Шедеврум». В дальнейшем новая версия YandexART появится и в других сервисах «Яндекса». |
© 1997—2026 Электронное периодическое издание "3ДНьюс" | Свидетельство о регистрации СМИ Эл ФС 77-22224
выдано Федеральной Службой по надзору за соблюдением законодательства в сфере массовых коммуникаций и охране культурного наследия
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
