Midjourney, один из самых популярных стартапов по генерации изображений на основе ИИ, объявил о запуске модели V1, генерирующей видеоролики из изображений. Как и другие модели компании, на момент запуска V1 доступна только через Discord и только онлайн.

Источник изображения: Midjourney

«Представляем нашу модель видео V1. Она весёлая, простая и красивая. Доступная за 10 долларов в месяц, это первая модель видео для всех и прямо сейчас», — говорится в аккаунте Midjourney в социальной сети X. V1 составит конкуренцию таким моделям видеогенерации, как Sora от OpenAI, Gen 4 от Runway, Firefly от Adobe и Veo 3 от Google. Midjourney подчеркнула, что в отличие от большинства компаний, сосредоточенных на разработке коммерческих моделей, она в первую очередь ориентирована на творческую аудиторию.

По мнению экспертов, подобно сгенерированным изображениям Midjourney, видеоролики, созданные V1, выглядят «несколько потусторонними, а не гиперреалистичными». Хотя длительность видео, созданного с помощью V1, ограничена пятью секундами, пользователь может продлить его на четыре секунды до четырёх раз подряд, увеличив длительность финального ролика до 21 секунды.

На момент запуска самым дешёвым способом опробовать V1 является подписка на базовый тариф Midjourney стоимостью $10 в месяц с ограниченным количеством генераций. Для безлимитного использования V1 придётся выбрать тариф Pro за $60 или Mega за $120 с дополнительным режимом Relax. Midjourney планирует в течение следующего месяца пересмотреть систему тарифных планов.

Компания ставит перед собой более масштабные задачи, нежели генерация перебивок для голливудских фильмов или создание рекламных роликов. По словам главы Midjourney Дэвида Хольца (David Holz), конечная цель компании — модели ИИ, «способные к моделированию открытого мира в реальном времени». Также в дальнейших планах Midjourney — разработка ИИ-модели для полноценного 3D-рендеринга.

Запуск V1 от Midjourney состоялся всего через неделю после того, как на стартап подали в суд две известные киностудии Голливуда —Disney и Universal. В иске утверждается, что модели Midjourney генерируют изображения персонажей студий, защищённых авторским правом, таких как Гомер Симпсон и Дарт Вейдер.

Источник изображения: theverge.com

Кинокомпании Disney и Universal подали иск против Midjourney, обвинив сервис в создании копий их персонажей с помощью искусственного интеллекта (ИИ). Иск, поданный в федеральный суд Центрального округа Калифорнии, касается генерации изображений таких персонажей, как Шрек, Дарт Вейдер, Базз Лайтер и других защищённых авторским правом известных героев.

Источник изображений: theverge.com

В заявлении говорится, что Midjourney действует как «виртуальный торговый автомат», производя бесконечные незаконные копии их работ. По мнению истцов, сервис сознательно использует популярных персонажей для продвижения своих инструментов, не вкладывая средств в их создание. В качестве примеров приведены изображения инопланетянина Йоды — одного из главных героев «Звёздных войн», Человека-паука, Эльзы из «Холодного сердца» и персонажей из «Миньонов».

Disney и Universal утверждают, что Midjourney игнорирует их требования прекратить нарушение авторских прав, в отличие от других сервисов ИИ, которые внедрили защитные механизмы. Особую обеспокоенность вызывает готовящийся к выпуску видеогенератор Midjourney, который, по мнению студий, уже сейчас может нарушать их права в связи с обучением ИИ на защищённом авторском контенте. Компании потребовали суда присяжных.

Как отмечает издание The Verge, это первый крупный иск Голливуда против генеративного ИИ, однако подобные судебные разбирательства становятся все более частыми. Ранее с исками к OpenAI, создателю ChatGPT, обращались The New York Times, группа авторов во главе с Джорджем Мартином (George R.R. Martin), а также издатели других газет. На компанию Anthropic, разработавшую чат-бот Claude, подали иски компании Universal Music и Reddit.

Midjourney представила альфа-версию основанного на искусственном интеллекте генератора изображений V7. В отличие от OpenAI ChatGPT эта модель не была оптимизирована для создания картинок в стиле Ghibli, но это не мешает ей генерировать эстетически приятные работы, пишет TechCrunch.

Источник изображения: x.com/midjourney

Прежде чем начать работу с Midjourney V7, пользователю придётся оценить около двух сотен изображений, чтобы система создала для него профиль «персонализации» — это помогает настроить модель в соответствии с визуальными предпочтениями конкретного человека; в данном проекте персонализация впервые включена по умолчанию. По окончании настройки можно начинать работу с V7 как на сайте Midjourney, так и на сервере компании в Discord. При её разработке использовалась «совершенно иная архитектура», рассказал гендиректор Midjourney Дэвид Хольц (David Holz).

Модель доступна в двух вариантах: есть более ресурсоёмкий Turbo; и Relax с режимом Draft Mode, при котором изображения генерируются в десять раз быстрее, и задействуются вдвое меньше вычислительных ресурсов. «Черновые» изображения Draft Mode имеют более низкое качество, чем созданные в стандартном режиме картинки, но их можно улучшить и повторно отрисовать в один щелчок мыши. Модель имеет как преимущества, так и недостатки, предупредил господин Хольц, поэтому для достижения оптимального результата пользователям рекомендуется экспериментировать с составлением запросов.

Midjourney — необычная компания. Её открыл в 2022 году Дэвид Хольц, некогда соучредитель производителя периферии Leap Motion; отличительной чертой стартапа является полное отсутствие внешнего финансирования. В конце 2023 года компания сообщила, что ожидает получить около $200 млн прибыли. В прошлом году Midjourney объявила о наборе сотрудников в проект по разработке оборудования; при этом она продолжала обучение ранее анонсированных моделей для генерации видео и трёхмерных объектов.

Midjourney, являющаяся одной из ведущих компаний по разработке нейросетей для генерации изображений по текстовым описаниям, анонсировала тестирование новых функций, включая внешний редактор изображений, режим редактирования текстур и систему модерации на основе искусственного интеллекта новейшего поколения.

Источник изображения: midjourney.com

Новый ИИ-редактор позволяет загружать фотографии с компьютера и вносить в них изменения — расширять, обрезать, перерисовывать или добавлять объекты в сцену. Управление происходит с помощью текстовых подсказок (промптов) и выбора областей на изображении. Также поддерживается персонализация ИИ-моделей, референсные персонажи и автоматические подсказки на основе заданных изображений.

Источник изображения: midjourney.com

Не менее интересным оказался режим смены текстур, который анализирует форму сцены и изменяет освещение, материалы и текстуру изображения. Это позволяет кардинально трансформировать внешний вид изначальной картинки, создавая новые визуальные эффекты, не изменяя при этом основную композицию.

Источник изображения: midjourney.com

Midjourney также представила более тонкую и интеллектуальную систему модерации V2 на основе ИИ. Этот «модератор» анализирует не только текстовые запросы, но и сами изображения, маски для рисования и полученные результаты. «Мы считаем, что это самый интеллектуальный ИИ-модератор из всех существующих на сегодня. — с гордостью заявляют разработчики компании. — Надеемся, что некоторые его аспекты в будущем будут внедрены в стандартные конвейеры генерации, чтобы уменьшить количество ложных срабатываний и предоставить пользователям больше свободы».

Источник изображения: midjourney.com

На данный момент новые функции доступны для тех пользователей, которые сгенерировали более 10 000 изображений, имеют годовую подписку или ежемесячную на протяжении последних 12 месяцев. Отметим, что разработчики признают наличие некоторых проблем, таких как некорректная работа с небольшими участками изображения, и просят пользователей отнестись с пониманием к этим временным трудностям, наслаждаясь тестированием новых возможностей.

Midjourney запустит веб-инструмент, способный редактировать любые изображения с помощью генеративного ИИ. Новинка позволит, сохраняя форму редактируемых объектов, изменять их текстуры, цвета и другие детали в зависимости от текстовых запросов пользователя. Это открывает путь не только к большим творческим возможностям, но и к возможным злоупотреблениям.

Источник изображений: Midjourney

На прошлой неделе генеральный директор компании Дэвид Хольц (David Holtz) опубликовал на сервере Midjourney в Discord подробности о новом ИИ-редакторе изображений. Новый инструмент позволит пользователям загружать изображения из интернета и использовать последние достижения в области ИИ-технологий для их редактирования. «Он сохраняет форму сцены и объектов, но перерисовывает все текстуры, цвета и детали в соответствии с вашим запросом», — объяснил Хольц.

Источник изображения: Midjourney / Discord

Появление такого инструмента открывает перед пользователями большие возможности для творчества, однако вызывает и серьёзные вопросы о злоупотреблениях. Например, инструмент может быть использован для массового создания дипфейков или нарушений авторских прав. Несмотря на то, что в США на федеральном уровне по-прежнему отсутствует закон, криминализирующий создание дипфейков, как минимум дюжина штатов уже приняли законы против ИИ-имитаций, и многие другие штаты рассматривают возможность последовать их примеру.

Хольц осознаёт риски, связанные с вероятным злоупотреблением новым инструментом, и заявил, что на начальном этапе доступ к сервису будет ограничен небольшим числом пользователей. Компания Midjourney разрабатывает системы мониторинга, включающие как человеческий контроль, так и ИИ, чтобы минимизировать потенциальные нарушения. Однако конкретные механизмы реализации этих ограничений пока не определены, и компания собирает обратную связь от пользователей, чтобы решить, кто должен получить ранний доступ к инструменту.

Следует подчеркнуть, что Midjourney уже внедрила стандарты метаданных IPTC Digital Source Type, позволяющие маркировать изображения, созданные с использованием ИИ. Однако компания пока отстаёт от других лидеров рынка, таких как Adobe, которые применяют более продвинутые технологии отслеживания происхождения изображений, например, стандарт C2PA. Эта технология обеспечивает возможность проследить полную историю редактирования изображения, что существенно повышает прозрачность и ответственность в процессе его создания и обработки.

В августе текущего года Midjourney также запустила обновлённый веб-сайт, который позволяет любому пользователю создавать изображения с помощью ИИ, зарегистрировавшись через Google-аккаунт. Первоначально предоставляется бесплатный пробный период, по окончании которого пользователи могут оформить платную подписку, чтобы продолжить пользоваться сервисом генерации изображений на постоянной основе.

Midjourney, известная платформа для создания изображений на основе искусственного интеллекта, объявила о намерении «заняться оборудованием». Компания, без каких-либо венчурных инвестиций к настоящему моменту вышла на $200 млн выручки.

Источник изображения: Swello / unsplash.com

Соответствующее заявление Midjourney сделала накануне в соцсети X. Её новое подразделение по разработке оборудования будет базироваться в Сан-Франциско, заявила она. Компания, штат которой составляет менее сотни человек, не пояснила, в чём именно будет заключаться её работа с оборудованием. Возможно, с этими её планами был связан приход в Midjourney Ахмада Аббаса (Ahmad Abbas) в феврале. Ранее он работал в Neuralink, а также участвовал в создании гарнитуры смешанной реальности Apple Vision Pro.

Не новичок в сегменте аппаратной продукции и генеральный директор Midjourney Дэвид Хольц (David Holz). Он также является сооснователем Leap Motion — производителя периферийных устройств с отслеживанием движения в пространстве. Более того, Аббас и Хольц вместе работали в Leap Motion. Несмотря на то, что Midjourney сейчас приходится отбиваться от судебного иска по поводу механизмов обучения ИИ, компания намеревается продолжать разработку моделей для генерации видео и трёхмерных объектов. Работа с оборудованием может иметь отношение к этому направлению деятельности.

Генеральный директор Midjourney Дэвид Хольц (David Holz) сообщил в Discord, что любой желающий теперь может открыть сайт сервиса и начать генерировать изображения. Бесплатная демо-версия платформы позволяет создать до 25 картинок.

Источник изображения: Swello / unsplash.com

Ранее для доступа к генератору Midjourney было необходимо пользоваться мессенджером Discord. Это было непросто, потому что приходилось особым образом составлять запросы. Чтобы привлечь пользователей, которым в Discord не нравилось, был запущен сайт платформы, но к работе в веб-интерфейсе допустили лишь тех, кто создал не менее 10 000 изображений через мессенджер. Теперь же сайт Midjourney открыт для всех желающих. Для регистрации потребуется учётная запись в Google или Discord — обладатели аккаунтов на обеих платформах могут подключить их к одной учётной записи в Midjourney и входить через любую их двух.

После входа в систему набор основных инструментов доступен на левой боковой панели. Можно ознакомиться с изображениями, созданным по запросам других пользователей или попробовать сгенерировать картинку самостоятельно, предварительно посмотрев обучающий ролик. В верхней части страницы есть поле для ввода запроса, в ответ на который Midjourney предложит четыре изображения — качество наиболее удачного настраивается с помощью специальных инструментов: уменьшить, увеличить картинку или скорректировать ракурс. Есть и редактор изображений, где можно скорректировать запрос, изменить определённые области картинки, выбрать другое соотношение сторон и добавить новые элементы.

Есть раздел, где собраны все созданные пользователем изображения. Картинку из коллекции можно посмотреть, изменить, скопировать или скачать. На сайте доступны чаты, где можно посмотреть, что создали другие люди, или разместить собственное изображение. По исчерпании лимита в 25 картинок Midjourney предложит оформить подписку на один из четырёх тарифных планов — они отличаются ценами и квотами на число изображений.

Основанный на искусственном интеллекте генератор изображений Midjourney 6, доступный сейчас только в рамках альфа-тестирования на платформе Discord, предложил новую функцию «образец персонажа» (Character Reference), позволяющую зафиксировать один образ на разных созданных платформой изображениях.

Источник изображения: youtube.com/@curtispyketech

Чтобы задать образец, пользователь Midjourney может указать одну или несколько ссылок на картинку с интересующим его персонажем или загрузить его на платформу, и генератор будет учитывать эти данные при получении команды. Администрация сервиса отметила, что новая функция предназначается в первую очередь для персонажей, созданных ИИ. «Для реальных людей/фотографий она не предназначена», — заявил администратор Midjourney Discord и добавил, что это, «скорее всего, исказит их, как это делают обычные запросы на изображения».

Но пользователи платформы, конечно, не смогли не попробовать. Один из них загрузил в качестве образца фотографию футбольной звезды Криштиану Роналду (Cristiano Ronaldo), и результаты действительно сильно напоминали известного спортсмена. Функция пока тестируется, но уже демонстрирует убедительные результаты: доступен также параметр «силы» (strength), то есть степени соответствия образца и результата генерации.

Новая функция вызывает два противоположных этических вопроса. С одной стороны, возможность задать образец персонажа облегчит недобросовестным пользователям создание убедительных дипфейков. С другой, исключение отсылок на работы художников может вызвать проблемы с авторскими правами, если пользователи захотят коммерциализировать или опубликовать творения Midjourney.

В минувшую субботу ИИ-генератор изображений Midjourney подвергся массированной атаке, которая привела к отключению на 24 часа серверов сервиса. Атака проводилась со стороны учётной записи, которую связали с инженерами по сбору данных из конкурирующей компании Stability AI. В итоге всем сотрудникам Stability AI закрыли доступ к платформе Midjourney.

Источник изображения: stability.ai

Инженеры Midjourney обнаружили, что одна из учётных записей «пытается получить запросы и изображения каждого пользователя на сайте». Проще говоря, из Midjourney очень активно скачивались пары «запрос + картинка». Эти запросы спровоцировали перегрузку серверов компании и привели к частичному отключению её базы данных на 24 часа. После блокировки недобросовестного пользователя сотрудники Midjourney провели расследование и обнаружили, что учётная запись «была связана через две кредитные карты с одним из ведущих инженеров по сбору данных в команде Stable Diffusion [компании Stability AI]». В ответ Midjourney решила запретить всем сотрудникам Stability AI пользоваться её платформой.

Midjourney и Stability AI — прямые конкуренты в области генеративного ИИ. Работающая в Сан-Франциско компания Midjourney была основана Дэвидом Хольцем (David Holz). Её доход, по некоторым оценкам составляет $200 млн, а штат — менее 100 сотрудников; внешний капитал для работы компании не привлекался. Базирующаяся в Лондоне Stability AI привлекла $197 млн от Lightspeed, Coatue и Intel при оценке в $1 млрд. В 2023 году выручка компании, по данным AIM Research, составила $44,2 млн.

Глава Stability AI Эмад Мостак (Emad Mostaque) заявил, что инцидент не может расцениваться как DDoS-атака, и если сотрудники компании и были к нему причастны, то их действия не являлись преднамеренными; он также пообещал провести внутреннее расследование. В ответ на это Хольц сообщил, что отправил Мостаку дополнительную информацию в помощь внутреннему расследованию.

Сбор данных (data scraping) — извлечение информации из ответов другой программы, обычно производимое для обучения собственной модели. Сегодня этот метод является стандартной практикой в гонке за разработку инструментов ИИ, хотя иногда вызывает претензии — эта практика перегружает серверы платформ, с которых производится сбор данных и ухудшает качество обслуживания пользователей. Но крупные инциденты с отключением серверов до настоящего момента не отмечались.

Состоялся выход альфа-версии Midjourney V6 — ИИ-генератора изображений. Среди наиболее примечательных нововведений разработчики отмечают более реалистичные и детализированные картинки, а также способность модели генерировать разборчивый текст внутри изображений.

Источник изображения: twitter.com/OrctonAI

Midjourney V6 на самом деле является «третьей моделью, обученной с нуля на наших суперкластерах ИИ», и на её разработку ушли девять месяцев, пояснил глава компании Дэвид Хольц (David Holz). Подключение к обновлённой нейросети не происходит для всех пользователей по умолчанию — в чате Discord с ботом Midjourney необходимо перейти в режим настроек командой «/settings», после чего в раскрывающемся меню сверху выбрать «V6». В качестве альтернативы можно после каждого описания изображения добавлять параметр «-v 6».

Источник изображения: twitter.com/Boris_Jov

Господин Хольц обратил внимание на следующие нововведения: «гораздо более точное следование описаниям и более длинные описания; улучшенная согласованность и знания модели; улучшены механизмы подсказок и правок; некоторые возможности рисования текста — он указывается в кавычках, помочь могут параметры „--style raw” и низкие значения „--stylize”; улучшены средства масштабирования с „точным” и „творческим” режимами».

Источник изображения: twitter.com/giffboake

Механизм создания описаний изображений в Midjourney полностью переработан: параметры вроде «фотореализм» или «4K» больше не работают, и пользователям придётся переучиваться. Разработчики советуют быть более откровенными в том, чего хотят пользователи. Так, если требуется фотореалистичное изображение, рекомендуется использовать параметр «--style raw». Следует также выбрать нужный баланс параметра «--stylize», значение которого по умолчанию равно «100». Чем меньше значение, тем буквальнее модель воспринимает команду, а с его увеличением растёт эстетический аспект изображения.

Источник изображения: chrisperna / Instagram✴

Глава Midjourney подчеркнул, что V6 выпущена в рамках альфа-тестирования — её работа может со временем кардинально меняться, и зачастую без предварительного уведомления аудитории. С полноценным выходом модели, выразили надежду разработчики, «вы все почувствуете развитие чего-то более значительного, что глубоко переплетается с силой нашего коллективного воображения». Но пока в Midjourney V6 отсутствуют некоторые функции, которые есть в V5.2, в том числе панорамирование влево и вправо, а также уменьшение масштаба, но в последующих обновлениях они добавятся.

Блогер Хави Лопес (Javi Lopez), изучающий возможности нейросетей, рассказал о том, как с помощью одних лишь ChatGPT 4.0, DALL-E 3 и Midjourney создал на Хэллоуин рабочую видеоигру в стиле Angry Birds — Angry Pumpkins.

Источник изображения: X (Javi Lopez)

Знаменитый мобильный хит Rovio узнаётся в Angry Pumpkins с первого взгляда: схожая эстетика, аналогичный геймплей (злобные тыквы швыряют себя в зелёных монстров) и построенный по тому же принципу заголовок.

Используя текстовые команды, Лопес проинструктировал ChatGPT 4.0 для написания 600 строчек рабочего кода, Midjourney задействовал для создания объектов, персонажей и фонов, а DALL-E 3 подключил для оформления главного меню.

У себя в микроблоге Лопес подробно расписал, какие команды использовал для производства всех графических элементов и программирования, а также приложил ссылку на исходный код целиком.

Создание Angry Pumpkins от начала и до выпуска финальной версии заняло у Лопеса около 10−12 часов: первый прототип был готов очень быстро, а 90 % времени ушло на доработку всяческих мелочей и деталей.

Поиграть в Angry Pumpkins можно по этой ссылке прямо в браузере. В игре отсутствует звук, зато есть инструменты для создания собственных уровней (расположения объектов и монстров).

Лопес считает, что человечество переживает исторический момент, наблюдавшийся лишь в научной фантастике: «Эти новые рабочие процессы, позволяющие создавать что угодно с помощью одного лишь языка, изменят мир».