ИИ-стартап Stability AI выпустил новую версию своей флагманской модели преобразования текста в изображение Stable Diffusion XL 1.0 (SDXL 1.0) с открытым исходным кодом, которую он позиционирует как свою «самую продвинутую» модель на сегодняшний день.
Источник изображения: Pixabay
По словам Stability, SDXL 1.0, доступная на GitHub в дополнение к API Stability и потребительским приложениям Clipdrop и DreamStudio, обеспечивает «более яркие» и «точные» цвета и лучшую контрастность, тени и освещение по сравнению с предыдущей версией.
Джо Пенна (Joe Penna), руководитель отдела прикладного машинного обучения Stability AI, сообщил в интервью TechCrunch, что SDXL 1.0, содержащая 3,5 млрд параметров, может выдавать изображения с разрешением 1 мегапиксель «за секунды» с различными соотношениями сторон.
Модель предыдущего поколения Stable Diffusion XL 0.9 также могла создавать изображения с высоким разрешением, но для её запуска требовалось больше вычислительной мощности. Как отметил ресурс SiliconANGLE, открытый исходный код наряду с возможностью работать на относительно простом оборудовании делают SDXL 1.0 гораздо более доступной, чем конкурирующие модели создания изображений.
«SDXL 1.0 — кастомизируемая и готова к тонкой настройке в соответствии с концепциями и стилями, — рассказал Пенна. — Она также проста в использовании, обладает способностью создавать сложные проекты с базовыми запросами на обработку естественного языка».
Кроме того, SDXL 1.0 получила улучшения в области генерации текста. В то время как даже у многих лучших моделей преобразования текста в изображение наблюдаются проблемы с генерацией изображения с разборчивыми логотипами, не говоря уже о каллиграфии или шрифтах, SDXL 1.0 способна на «продвинутое» генерирование текста и обеспечение его разборчивости, говорит Пенна.
SDXL 1.0 имеет функции inpainting, позволяющую восстанавливать недостающие части изображения, outpainting (расширение существующих изображений) и подсказки «изображение-к-изображению», позволяющую после ввода изображения добавлять несколько текстовых подсказок для создания более подробных вариантов этого изображения. Кроме того, модель «понимает» сложные инструкции, состоящие из нескольких частей, которые даются в коротких подсказках, тогда как в предыдущих моделях Stable Diffusion требовались более длинные текстовые подсказки.
Тренировочный набор SDXL 1.0 также включает в себя работы художников, протестовавших против использования компаниями, включая Stability AI, их работ в качестве обучающих данных для генеративных моделей ИИ. Stability AI утверждает, что она защищена от юридической ответственности доктриной добросовестного использования, по крайней мере, в США. Хотя это не помешало Getty Images подать в суд на Stability AI с обвинением в незаконном использовании изображений сервиса для обучения своей генеративной нейросети.