Компания OpenAI представила новую версию генератора изображений DALL-E и заявила о планах интегрировать его в ChatGPT. Разработчики сообщают, что DALL-E 3 может «значительно лучше понимать запросы», анализировать сложные инструкции и генерировать «чрезвычайно детальные и точные изображения» по сравнению с DALL-E 2.

Источник изображений: OpenAI / DALL-E 3

«Современные генераторы изображений имеют тенденцию игнорировать слова или описания, вынуждая пользователей изучать промпт-инженерию. DALL-E 3 представляет собой шаг вперёд в нашей способности создавать изображения, которые точно соответствуют предоставленному вами запросу», — сообщает OpenAI в описании нового генератора изображений.

Модель лучше справляется и с такими сложными для искусственного интеллекта мелкими деталями, как человеческие руки. Даже при одинаковых запросах результаты DALL-E 3 намного лучше, чем у DALL-E 2, отмечают разработчики. DALL-E 3 сможет точно отобразить сцену с конкретными объектами и учесть, как они друг с другом связаны, как показано на изображении ниже.

OpenAI планирует в ближайшем будущем встроить DALL-E 3 в чат-бот ChatGPT Plus и Enterprise. Комбинация языковых навыков чат-бота с генератором изображений позволит создавать ещё более точные изображения и предоставит ещё больше возможностей в тонкой настройке запроса, если первый полученный результат окажется не тем, чего ожидал пользователь.

«При запросе ChatGPT автоматически сгенерирует индивидуальные подробные подсказки для DALL-E 3, на основе которых тот создаст изображение. Если полученное изображение понравится пользователю, но оно не совсем точно будет отображать запрос, то в него можно будет внести изменения, добавив всего несколько дополнительных уточняющих слов», — говорят в OpenAI

Сейчас DALL-E 3 находится на стадии исследовательской предварительной версии и станет доступен подписчикам ChatGPT Plus и Enterprise в октябре через API. Следует напомнить, что использование DALL-E 2 платное, а месячная подписка на тот же ChatGPT Plus стоит $20. В настоящий момент единственным крупным ИИ-чат-ботом, предлагающим бесплатный встроенный генератор изображений, является Bing Chat AI от Microsoft. Он, к слову, работает на базе мощной языковой модели GPT-4 от OpenAI.

«Как и в случае с DALL-E 2, сгенерированные с помощью DALL-E 3 изображения будут принадлежать пользователю, и ему не потребуется разрешение на их перепечатку, продажу или распространение», — уточняют в OpenAI.

В компании также отметили, что в DALL-E 3 предусмотрены инструменты, ограничивающие создание определённых изображений. Например, генератор изображений будет отклонять запросы с именами общественных деятелей или «вредными предубеждениями», чтобы снизить риск распространения пропаганды и дезинформации. Разработчики также тестируют классификатор происхождения — инструмент, который позволит определить, было ли изображение сгенерировано нейросетью. Наконец, DALL-E не будет генерировать картинки в стиле ныне живущих и творящих художников.

Фотобанк Shutterstock на шесть лет продлил партнёрство с OpenAI, в рамках которого разработчик искусственного интеллекта сохранит право обучать свои модели на изображениях, видео, музыке и метаданных в библиотеке Shutterstock.

Источник изображения: prnewswire.com

Две компании начали сотрудничать в 2021 году — материалы Shutterstock помогли OpenAI обучить генератор изображений DALL-E. Глава OpenAI Сэм Альтман (Sam Altman) назвал это соглашение критически важным для разработки модели. В прошлом году Shutterstock учредила специальный фонд, из которого авторам материалов выплачиваются вознаграждения, когда их работа используется в обучении ИИ.

Тогда же Shutterstock запустила на своём сайте генератор изображений и запретила продавать на площадке изображения, созданные ИИ, отличными от DALL-E. Впоследствии работа функции была расширена — с помощью ИИ теперь можно редактировать любые материалы на платформе. Функции ИИ также вскоре появятся на ресурсе Giphy, который Shutterstock недавно приобрела у Meta✴.

В отличие от некоторых других платформ обмена изображениями, включая Getty Images, Shutterstock поддерживает технологии ИИ. Недовольство их распространением часто выражают авторы материалов: в Getty Images решили идти до конца, запретив на платформе размещение изображений, созданных генераторами, и подав в суд на ответственную за модель Stable Diffusion компанию Stability AI, которая якобы незаконно использовала защищённые авторским правом материалы для обучения ИИ. В Shutterstock правовые вопросы пока активно не поднимались, а интеграция с DALL-E помогает фотобанку активно расширять библиотеку.