Midjourney, являющаяся одной из ведущих компаний по разработке нейросетей для генерации изображений по текстовым описаниям, анонсировала тестирование новых функций, включая внешний редактор изображений, режим редактирования текстур и систему модерации на основе искусственного интеллекта новейшего поколения.

Источник изображения: midjourney.com

Новый ИИ-редактор позволяет загружать фотографии с компьютера и вносить в них изменения — расширять, обрезать, перерисовывать или добавлять объекты в сцену. Управление происходит с помощью текстовых подсказок (промптов) и выбора областей на изображении. Также поддерживается персонализация ИИ-моделей, референсные персонажи и автоматические подсказки на основе заданных изображений.

Источник изображения: midjourney.com

Не менее интересным оказался режим смены текстур, который анализирует форму сцены и изменяет освещение, материалы и текстуру изображения. Это позволяет кардинально трансформировать внешний вид изначальной картинки, создавая новые визуальные эффекты, не изменяя при этом основную композицию.

Источник изображения: midjourney.com

Midjourney также представила более тонкую и интеллектуальную систему модерации V2 на основе ИИ. Этот «модератор» анализирует не только текстовые запросы, но и сами изображения, маски для рисования и полученные результаты. «Мы считаем, что это самый интеллектуальный ИИ-модератор из всех существующих на сегодня. — с гордостью заявляют разработчики компании. — Надеемся, что некоторые его аспекты в будущем будут внедрены в стандартные конвейеры генерации, чтобы уменьшить количество ложных срабатываний и предоставить пользователям больше свободы».

Источник изображения: midjourney.com

На данный момент новые функции доступны для тех пользователей, которые сгенерировали более 10 000 изображений, имеют годовую подписку или ежемесячную на протяжении последних 12 месяцев. Отметим, что разработчики признают наличие некоторых проблем, таких как некорректная работа с небольшими участками изображения, и просят пользователей отнестись с пониманием к этим временным трудностям, наслаждаясь тестированием новых возможностей.

Midjourney запустит веб-инструмент, способный редактировать любые изображения с помощью генеративного ИИ. Новинка позволит, сохраняя форму редактируемых объектов, изменять их текстуры, цвета и другие детали в зависимости от текстовых запросов пользователя. Это открывает путь не только к большим творческим возможностям, но и к возможным злоупотреблениям.

Источник изображений: Midjourney

На прошлой неделе генеральный директор компании Дэвид Хольц (David Holtz) опубликовал на сервере Midjourney в Discord подробности о новом ИИ-редакторе изображений. Новый инструмент позволит пользователям загружать изображения из интернета и использовать последние достижения в области ИИ-технологий для их редактирования. «Он сохраняет форму сцены и объектов, но перерисовывает все текстуры, цвета и детали в соответствии с вашим запросом», — объяснил Хольц.

Источник изображения: Midjourney / Discord

Появление такого инструмента открывает перед пользователями большие возможности для творчества, однако вызывает и серьёзные вопросы о злоупотреблениях. Например, инструмент может быть использован для массового создания дипфейков или нарушений авторских прав. Несмотря на то, что в США на федеральном уровне по-прежнему отсутствует закон, криминализирующий создание дипфейков, как минимум дюжина штатов уже приняли законы против ИИ-имитаций, и многие другие штаты рассматривают возможность последовать их примеру.

Хольц осознаёт риски, связанные с вероятным злоупотреблением новым инструментом, и заявил, что на начальном этапе доступ к сервису будет ограничен небольшим числом пользователей. Компания Midjourney разрабатывает системы мониторинга, включающие как человеческий контроль, так и ИИ, чтобы минимизировать потенциальные нарушения. Однако конкретные механизмы реализации этих ограничений пока не определены, и компания собирает обратную связь от пользователей, чтобы решить, кто должен получить ранний доступ к инструменту.

Следует подчеркнуть, что Midjourney уже внедрила стандарты метаданных IPTC Digital Source Type, позволяющие маркировать изображения, созданные с использованием ИИ. Однако компания пока отстаёт от других лидеров рынка, таких как Adobe, которые применяют более продвинутые технологии отслеживания происхождения изображений, например, стандарт C2PA. Эта технология обеспечивает возможность проследить полную историю редактирования изображения, что существенно повышает прозрачность и ответственность в процессе его создания и обработки.

В августе текущего года Midjourney также запустила обновлённый веб-сайт, который позволяет любому пользователю создавать изображения с помощью ИИ, зарегистрировавшись через Google-аккаунт. Первоначально предоставляется бесплатный пробный период, по окончании которого пользователи могут оформить платную подписку, чтобы продолжить пользоваться сервисом генерации изображений на постоянной основе.

Midjourney, известная платформа для создания изображений на основе искусственного интеллекта, объявила о намерении «заняться оборудованием». Компания, без каких-либо венчурных инвестиций к настоящему моменту вышла на $200 млн выручки.

Источник изображения: Swello / unsplash.com

Соответствующее заявление Midjourney сделала накануне в соцсети X. Её новое подразделение по разработке оборудования будет базироваться в Сан-Франциско, заявила она. Компания, штат которой составляет менее сотни человек, не пояснила, в чём именно будет заключаться её работа с оборудованием. Возможно, с этими её планами был связан приход в Midjourney Ахмада Аббаса (Ahmad Abbas) в феврале. Ранее он работал в Neuralink, а также участвовал в создании гарнитуры смешанной реальности Apple Vision Pro.

Не новичок в сегменте аппаратной продукции и генеральный директор Midjourney Дэвид Хольц (David Holz). Он также является сооснователем Leap Motion — производителя периферийных устройств с отслеживанием движения в пространстве. Более того, Аббас и Хольц вместе работали в Leap Motion. Несмотря на то, что Midjourney сейчас приходится отбиваться от судебного иска по поводу механизмов обучения ИИ, компания намеревается продолжать разработку моделей для генерации видео и трёхмерных объектов. Работа с оборудованием может иметь отношение к этому направлению деятельности.

Генеральный директор Midjourney Дэвид Хольц (David Holz) сообщил в Discord, что любой желающий теперь может открыть сайт сервиса и начать генерировать изображения. Бесплатная демо-версия платформы позволяет создать до 25 картинок.

Источник изображения: Swello / unsplash.com

Ранее для доступа к генератору Midjourney было необходимо пользоваться мессенджером Discord. Это было непросто, потому что приходилось особым образом составлять запросы. Чтобы привлечь пользователей, которым в Discord не нравилось, был запущен сайт платформы, но к работе в веб-интерфейсе допустили лишь тех, кто создал не менее 10 000 изображений через мессенджер. Теперь же сайт Midjourney открыт для всех желающих. Для регистрации потребуется учётная запись в Google или Discord — обладатели аккаунтов на обеих платформах могут подключить их к одной учётной записи в Midjourney и входить через любую их двух.

После входа в систему набор основных инструментов доступен на левой боковой панели. Можно ознакомиться с изображениями, созданным по запросам других пользователей или попробовать сгенерировать картинку самостоятельно, предварительно посмотрев обучающий ролик. В верхней части страницы есть поле для ввода запроса, в ответ на который Midjourney предложит четыре изображения — качество наиболее удачного настраивается с помощью специальных инструментов: уменьшить, увеличить картинку или скорректировать ракурс. Есть и редактор изображений, где можно скорректировать запрос, изменить определённые области картинки, выбрать другое соотношение сторон и добавить новые элементы.

Есть раздел, где собраны все созданные пользователем изображения. Картинку из коллекции можно посмотреть, изменить, скопировать или скачать. На сайте доступны чаты, где можно посмотреть, что создали другие люди, или разместить собственное изображение. По исчерпании лимита в 25 картинок Midjourney предложит оформить подписку на один из четырёх тарифных планов — они отличаются ценами и квотами на число изображений.

Основанный на искусственном интеллекте генератор изображений Midjourney 6, доступный сейчас только в рамках альфа-тестирования на платформе Discord, предложил новую функцию «образец персонажа» (Character Reference), позволяющую зафиксировать один образ на разных созданных платформой изображениях.

Источник изображения: youtube.com/@curtispyketech

Чтобы задать образец, пользователь Midjourney может указать одну или несколько ссылок на картинку с интересующим его персонажем или загрузить его на платформу, и генератор будет учитывать эти данные при получении команды. Администрация сервиса отметила, что новая функция предназначается в первую очередь для персонажей, созданных ИИ. «Для реальных людей/фотографий она не предназначена», — заявил администратор Midjourney Discord и добавил, что это, «скорее всего, исказит их, как это делают обычные запросы на изображения».

Но пользователи платформы, конечно, не смогли не попробовать. Один из них загрузил в качестве образца фотографию футбольной звезды Криштиану Роналду (Cristiano Ronaldo), и результаты действительно сильно напоминали известного спортсмена. Функция пока тестируется, но уже демонстрирует убедительные результаты: доступен также параметр «силы» (strength), то есть степени соответствия образца и результата генерации.

Новая функция вызывает два противоположных этических вопроса. С одной стороны, возможность задать образец персонажа облегчит недобросовестным пользователям создание убедительных дипфейков. С другой, исключение отсылок на работы художников может вызвать проблемы с авторскими правами, если пользователи захотят коммерциализировать или опубликовать творения Midjourney.

В минувшую субботу ИИ-генератор изображений Midjourney подвергся массированной атаке, которая привела к отключению на 24 часа серверов сервиса. Атака проводилась со стороны учётной записи, которую связали с инженерами по сбору данных из конкурирующей компании Stability AI. В итоге всем сотрудникам Stability AI закрыли доступ к платформе Midjourney.

Источник изображения: stability.ai

Инженеры Midjourney обнаружили, что одна из учётных записей «пытается получить запросы и изображения каждого пользователя на сайте». Проще говоря, из Midjourney очень активно скачивались пары «запрос + картинка». Эти запросы спровоцировали перегрузку серверов компании и привели к частичному отключению её базы данных на 24 часа. После блокировки недобросовестного пользователя сотрудники Midjourney провели расследование и обнаружили, что учётная запись «была связана через две кредитные карты с одним из ведущих инженеров по сбору данных в команде Stable Diffusion [компании Stability AI]». В ответ Midjourney решила запретить всем сотрудникам Stability AI пользоваться её платформой.

Midjourney и Stability AI — прямые конкуренты в области генеративного ИИ. Работающая в Сан-Франциско компания Midjourney была основана Дэвидом Хольцем (David Holz). Её доход, по некоторым оценкам составляет $200 млн, а штат — менее 100 сотрудников; внешний капитал для работы компании не привлекался. Базирующаяся в Лондоне Stability AI привлекла $197 млн от Lightspeed, Coatue и Intel при оценке в $1 млрд. В 2023 году выручка компании, по данным AIM Research, составила $44,2 млн.

Глава Stability AI Эмад Мостак (Emad Mostaque) заявил, что инцидент не может расцениваться как DDoS-атака, и если сотрудники компании и были к нему причастны, то их действия не являлись преднамеренными; он также пообещал провести внутреннее расследование. В ответ на это Хольц сообщил, что отправил Мостаку дополнительную информацию в помощь внутреннему расследованию.

Сбор данных (data scraping) — извлечение информации из ответов другой программы, обычно производимое для обучения собственной модели. Сегодня этот метод является стандартной практикой в гонке за разработку инструментов ИИ, хотя иногда вызывает претензии — эта практика перегружает серверы платформ, с которых производится сбор данных и ухудшает качество обслуживания пользователей. Но крупные инциденты с отключением серверов до настоящего момента не отмечались.

Состоялся выход альфа-версии Midjourney V6 — ИИ-генератора изображений. Среди наиболее примечательных нововведений разработчики отмечают более реалистичные и детализированные картинки, а также способность модели генерировать разборчивый текст внутри изображений.

Источник изображения: twitter.com/OrctonAI

Midjourney V6 на самом деле является «третьей моделью, обученной с нуля на наших суперкластерах ИИ», и на её разработку ушли девять месяцев, пояснил глава компании Дэвид Хольц (David Holz). Подключение к обновлённой нейросети не происходит для всех пользователей по умолчанию — в чате Discord с ботом Midjourney необходимо перейти в режим настроек командой «/settings», после чего в раскрывающемся меню сверху выбрать «V6». В качестве альтернативы можно после каждого описания изображения добавлять параметр «-v 6».

Источник изображения: twitter.com/Boris_Jov

Господин Хольц обратил внимание на следующие нововведения: «гораздо более точное следование описаниям и более длинные описания; улучшенная согласованность и знания модели; улучшены механизмы подсказок и правок; некоторые возможности рисования текста — он указывается в кавычках, помочь могут параметры „--style raw” и низкие значения „--stylize”; улучшены средства масштабирования с „точным” и „творческим” режимами».

Источник изображения: twitter.com/giffboake

Механизм создания описаний изображений в Midjourney полностью переработан: параметры вроде «фотореализм» или «4K» больше не работают, и пользователям придётся переучиваться. Разработчики советуют быть более откровенными в том, чего хотят пользователи. Так, если требуется фотореалистичное изображение, рекомендуется использовать параметр «--style raw». Следует также выбрать нужный баланс параметра «--stylize», значение которого по умолчанию равно «100». Чем меньше значение, тем буквальнее модель воспринимает команду, а с его увеличением растёт эстетический аспект изображения.

Источник изображения: chrisperna / Instagram✴

Глава Midjourney подчеркнул, что V6 выпущена в рамках альфа-тестирования — её работа может со временем кардинально меняться, и зачастую без предварительного уведомления аудитории. С полноценным выходом модели, выразили надежду разработчики, «вы все почувствуете развитие чего-то более значительного, что глубоко переплетается с силой нашего коллективного воображения». Но пока в Midjourney V6 отсутствуют некоторые функции, которые есть в V5.2, в том числе панорамирование влево и вправо, а также уменьшение масштаба, но в последующих обновлениях они добавятся.

Блогер Хави Лопес (Javi Lopez), изучающий возможности нейросетей, рассказал о том, как с помощью одних лишь ChatGPT 4.0, DALL-E 3 и Midjourney создал на Хэллоуин рабочую видеоигру в стиле Angry Birds — Angry Pumpkins.

Источник изображения: X (Javi Lopez)

Знаменитый мобильный хит Rovio узнаётся в Angry Pumpkins с первого взгляда: схожая эстетика, аналогичный геймплей (злобные тыквы швыряют себя в зелёных монстров) и построенный по тому же принципу заголовок.

Используя текстовые команды, Лопес проинструктировал ChatGPT 4.0 для написания 600 строчек рабочего кода, Midjourney задействовал для создания объектов, персонажей и фонов, а DALL-E 3 подключил для оформления главного меню.

У себя в микроблоге Лопес подробно расписал, какие команды использовал для производства всех графических элементов и программирования, а также приложил ссылку на исходный код целиком.

Создание Angry Pumpkins от начала и до выпуска финальной версии заняло у Лопеса около 10−12 часов: первый прототип был готов очень быстро, а 90 % времени ушло на доработку всяческих мелочей и деталей.

Поиграть в Angry Pumpkins можно по этой ссылке прямо в браузере. В игре отсутствует звук, зато есть инструменты для создания собственных уровней (расположения объектов и монстров).

Лопес считает, что человечество переживает исторический момент, наблюдавшийся лишь в научной фантастике: «Эти новые рабочие процессы, позволяющие создавать что угодно с помощью одного лишь языка, изменят мир».

Разработчик образовательных и игровых программ, компания Luden.io, у истоков которой стоят выходцы из Nival (Heroes of Might & Magic V), представил новую игру — Generated Adventure. В ней каждый аспект, от художественного оформления и сюжета до диалогов, персонажей, локаций и музыки, был создан с использованием таких инструментов искусственного интеллекта, как Stable Diffusion, Midjourney и ChatGPT.

Источник изображений: Luden.io

Generated Adventure представляет собой приключенческую онлайн-игру, созданную, по словам разработчиков, с применением «всех генеративных систем, которые мы смогли найти». Олег Чумаков из Luden.io говорит, что команда задействовала Stable Diffusion и Midjourney при поиске вдохновения и разработке различных игровых объектов, локаций и персонажей.

Поскольку игра была разработана для гейм-джема, посвящённого теме доставки, ChatGPT был использован для создания истории (включая диалоги), вращающейся вокруг возвращения объектов их законным владельцам в созданных разработчиками компактных локациях.

Идея состояла в том, чтобы попытаться создать всю игру, используя системы на основе ИИ, кроме непосредственно движка — им стал Defold, который не требует много ресурсов и полностью готов для работы в интернете. Анимация персонажей была выполнена при помощи Photoshop, так как создать анимационные спрайты с помощью Midjourney у разработчиков не получилось.

«Мы думали, что сможем легко создавать анимационные спрайты с помощью Midjourney. Чтобы избежать проблем с сохранением согласованности художественного стиля, мы попытались сгенерировать один атлас для всех анимаций вроде ходьбы (взгляд спереди и сзади), а также стояния без движения. Не знаю, почему мы предположили, что Midjourney может это сделать», — пояснил Чумаков.

Команда также использовала AIVA, инструмент для написания музыки на основе ИИ. В качестве референса использовался саундтрек Pillars of Eternity II: Deadfire. Чумаков сообщил, что разработка Generated Adventure была завершена всего за 72 часа, и подробно описал весь процесс создания игры в блоге, предоставив информацию о каждом этапе.

По словам Чумакова, самый трудоёмкий аспект работы с Midjourney и Stable Diffusion — поддержание согласованного визуального стиля. Особенно, когда необходимо добавить несколько деталей в общую картину или изменить всего несколько вещей, оставив всё остальное как есть.

В качестве проверки новых инструментов студия давала ИИ задачу сгенерировать такое изображение: «Картина в стиле Dungeons & Dragons с изображением капитана пиратов, который является минотавром с деревянной ногой, вырезанной в виде человека, и держит что-то действительно тяжёлое, как Атлас в архитектуре».

К счастью, недавно команда разработчиков Midjourney представила функцию, извлекающую визуальный стиль из изображения, предоставленного по ссылке. Это значительно облегчило задачу поддержания единого дизайна игровых локаций и персонажей.

Разработчики уверяют, что им было очень весело, и они получили огромное удовольствие во время производства Generated Adventure. Больше всего команду поразило огромное количество вопросов от других разработчиков. Похоже, тема генерации ассетов с помощью ИИ предельно интересна создателям видеоигр.