«Сбер» запустил нейросеть Kandinsky 2.1 — она генерирует изображения по описанию на русском и других языках

Разработчики из «Сбера» представили новую версию нейросети Kandinsky, которая является отечественным аналогом популярного алгоритма Midjourney. Генеративная модель Kandinsky 2.1 может использоваться для создания высококачественных изображений на основе текстового описания, дорисовки картинок и др. Нейросеть доступна всем желающим

Источник изображений: sberbank.com

«Новая генеративная модель "Сбера" — Kandinsky 2.1 — способна всего за несколько секунд создавать высококачественные изображения по текстовому описанию на естественном языке. Она также может смешивать несколько рисунков, изменять их по текстовому описанию, генерировать изображения, похожие на заданное, дорисовывать недостающие части картинки и формировать изображения в режиме бесконечного полотна (inpainting/outpainting). Модель понимает запросы на 101 языке (включая русский и английский) и умеет рисовать в различных стилях», — сказано в сообщении «Сбера».

Разработкой и обучением алгоритма занимались специалисты Sber AI совместно с учёными из Института искусственного интеллекта AIRI, задействовав для этого объединённый датасет Sber AI и SberDevices. Модель Kandinsky 2.1 является усовершенствованной версией предыдущей версии алгоритма, которая была дополнительно обучена на 170 млн пар «текст — изображение» высокого разрешения. В дополнение к этому алгоритм дополнительно обучался на отдельном датасете из двух миллионов пар качественных изображений. Этот датасет состоял из изображений с описаниями в сложных для нейросетей областях, таких как тексты и лица людей.

Представленный алгоритм усовершенствован за счёт новой модели автоэнкодера, используемой в том числе в качестве декодера векторных представлений изображений. За счёт этого удалось кардинально улучшить генерацию изображений в высоком разрешении. Модель Kandinsky 2.1 содержит 3,3 млрд параметров, что значительно больше по сравнению с 2 млрд параметров модели Kandinsky 2.0. Алгоритм использует закодированное текстовое описание и специальное представление изображения моделью CLIP. Он способен визуализировать любой контент и может применяться в разных отраслях.

Пользователи могут оценить возможности Kandinsky 2.1 на промо-странице, а также воспользовавшись командой «Запусти художника» на устройствах Sber, в мобильном приложении «Салют» и на платформе ML Space. Ещё нейросеть доступна через бота в Telegram. Правда, при попытке воспользоваться ею, через несколько минут появилось сообщение: «Произошла ошибка при работе модели:( Попробуй, пожалуйста, еще раз».