Сегодня 10 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Анонсирована Stable Diffusion 3.0 — ИИ для рисования сменил архитектуру и научился писать

Компания Stability AI выпустила предварительную версию Stable Diffusion 3.0 — флагманской модели искусственного интеллекта следующего поколения для генерации изображений по текстовому описанию. Stable Diffusion 3.0 будет доступна в разных версиях на базе нейросетей размером от 800 млн до 8 млрд параметров.

 Источник изображений: Stable Diffusion 3.0

Источник изображений: Stable Diffusion 3.0

В течение последнего года компания Stability AI постоянно совершенствовала и выпускала несколько нейросетей, каждая из которых показывала растущий уровень сложности и качества. Выпуск SDXL в июле значительно улучшил базовую модель Stable Diffusion, и теперь компания собирается пойти значительно дальше.

Новая модель Stable Diffusion 3.0 призвана обеспечить улучшенное качество изображения и лучшую производительность при создании изображений из сложных подсказок. Новая нейросеть обеспечит значительно лучшую типографику, чем предыдущие версии Stable Diffusion, обеспечивая более точное написание текста внутри сгенерированных изображений. В прошлом типографика была слабой стороной Stable Diffusion, собственно, как и многих других ИИ-художников.

Stable Diffusion 3.0 — это не просто новая версия модели прежней Stability AI, ведь она основана на новой архитектуре. «Stable Diffusion 3 – это диффузионная модель-трансформер, архитектура нового типа, которая аналогична той, что используется в представленной недавно модели OpenAI Sora, — рассказал VentureBeat Эмад Мостак (Emad Mostaque), генеральный директор Stability AI. — Это настоящий преемник оригинальной Stable Diffusion».

Stability AI экспериментирует с несколькими типами подходов к созданию изображений. Ранее в этом месяце компания выпустила предварительную версию Stable Cascade, которая использует архитектуру Würstchen для повышения производительности и точности. Stable Diffusion 3.0 использует другой подход, используя диффузионные модели-трансформеры. «Раньше у Stable Diffusion не было трансформера», — сказал Мостак.

Трансформеры лежат в основе большей части современных нейросетей, запустивших революцию в области искусственного интеллекта. Они широко используются в качестве основы моделей генерации текста. Генерация изображений в основном находилась в сфере диффузионных моделей. В исследовательской работе, в которой подробно описываются диффузионные трансформеры (DiT), объясняется, что это новая архитектура для диффузионных моделей, которая заменяет широко используемую магистраль U-Net трансформером, работающим на скрытых участках изображения. Применение DiT позволяет более эффективно использовать вычислительные мощности и превосходить другие подходы к диффузной генерации изображений.

Еще одна важная инновация, которой пользуется Stable Diffusion 3.0 — это согласование потоков. В исследовательской работе по сопоставлению потоков объясняется, что это новый метод обучения нейросетей с помощью «непрерывных нормализующих потоков» (Conditional Flow Matching — CNF) для моделирования сложных распределений данных. По мнению исследователей, использование CFM с оптимальными путями транспортировки приводит к более быстрому обучению, более эффективному отбору образцов и повышению производительности по сравнению с диффузионными путями.

Улучшенная типографика в Stable Diffusion 3.0 является результатом нескольких улучшений, которые Stability AI встроил в новую модель. Как пояснил Мостак, качественная генерация текстов на изображения стала возможной благодаря использованию диффузионной модели-трансформера и дополнительных кодировщиков текста. С помощью Stable Diffusion 3.0 стало возможным генерировать на изображениях полные предложения со связным стилем написания текста.

Хотя Stable Diffusion 3.0 изначально демонстрируется как технология искусственного интеллекта для преобразования текста в изображение, она станет основой для гораздо большего. В последние месяцы Stability AI также создаст нейросети для создания 3D-изображений и видео.

«Мы создаем открытые модели, которые можно использовать где угодно и адаптировать к любым потребностям, — сказал Мостак. — Это серия моделей разных размеров, которая послужит основой для разработки наших визуальных моделей следующего поколения, включая видео, 3D и многое другое».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: despelote — го-о-о-о-о-о-о-о-о-о-ол! Рецензия 9 ч.
Разработчики ремейка «Готики» прокачали демоверсию на основе отзывов игроков — «Пролог Нираса» получил крупное обновление 13 ч.
Доход Apple App Store в минувшем году оценили более чем в $10 миллиардов — и это только в США 15 ч.
Killing Floor 3 выйдет на четыре месяца позже обещанного — объявлена новая дата релиза 16 ч.
Сэм Альтман переобулся и теперь утверждает, что госрегулирование ИИ поставит крест на лидерстве США 19 ч.
«Мы явно перестарались»: разработчикам Clair Obscur: Expedition 33 пришлось ослабить умение, которое позволяло наносить миллиарды единиц урона 20 ч.
Доставка прибудет по расписанию: курьерский экшен Death Stranding 2: On the Beach ушёл на золото за полтора месяца до релиза 21 ч.
В Telegram добавились маркетплейс подарков, публикация нескольких историй сразу и автоматический перевод в каналах 21 ч.
«Лучшая карточная игра с RPG-элементами»: с 2022 года пользователи The Witcher 3: Wild Hunt наиграли в «Гвинт» более 458 миллионов партий 22 ч.
2K подтвердила системные требования Mafia: The Old Country — для комфортной игры понадобится RTX 3080 Ti и 32 Гбайт ОЗУ 22 ч.
SK hynix получила разрешение местных властей на строительство предприятия по упаковке HBM в штате Индиана 16 мин.
Gigabyte представила платы X870 и B850 Aorus Stealth с разъёмами питания на обратной стороне 13 ч.
Razer представила подголовник для игрового кресла, который заменяет наушники 14 ч.
Noctua переделала крепление кулеров под Arrow Lake — новая версия добавляет сдвиг и снижает температуру 14 ч.
Выяснилась цена Radeon RX 9600 XT в исполнении XFX, и она выглядит странно 15 ч.
Gigabyte представила мини-ПК BRIX GB-BRU5 с процессорами Core Ultra 200H в корпусе объёмом 0,46 литра 15 ч.
Nvidia Riva TNT снова в продаже — образец видеокарты из 1998 года с автографом создателя выставлен на аукцион 15 ч.
Lenovo выпустила моноблочный ПК Yoga 27 с Intel Core Ultra 9 285H и GeForce RTX 4050 17 ч.
Представлен фотоаппарат Leica M11-P Safari зелёного цвета за $10 тысяч 17 ч.
Учёные научились 3D-печати всяких штук прямо в теле живых организмов 17 ч.