Сегодня 28 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Meta✴ анонсировала производительный ИИ-генератор изображений CM3Leon с поддержкой точных команд редактирования

За минувшие два года основанные на алгоритмах искусственного интеллекта генераторы изображений стали почти повседневным явлением, и на первый взгляд в работе они не так сильно отличаются друг от друга. Но в Meta утверждают, что разработанная инженерами компании новая модель CM3Leon является прорывом.

 Источник изображений: ***

Источник изображений: Meta

Отличием модели Meta CM3Leon, как заявляют разработчики, является высокая производительность при преобразовании текста в изображение. Кроме того, это одна из первых моделей, обеспечивающих обратную операцию — создание подписей к изображениям. Большинство современных генераторов изображений, включая OpenAI DALL-E, Google Imagen и Stable Diffusion при создании картинок используют диффузию — процесс постепенного удаления шума из первоначального изображения по мере приближения к поставленной цели. Результат получается убедительным, но данный алгоритм требует значительных вычислительных ресурсов, что делает работу таких систем дорогостоящей, а сами модели — медленными, и в реальном времени они функционировать попросту не могут.

 Редактирование исходного изображения: заменить девушку на бородатого мужчину, добавить очки, увеличить возраст, раскрасить лицо

Редактирование исходного изображения: заменить девушку на бородатого мужчину, добавить очки, увеличить возраст, раскрасить лицо

Модель CM3Leon действует принципиально иначе — в её основе лежит алгоритм-трансформер, предусматривающий оценку релевантности исходных данных, будь то текст или изображение. Примечательно, что и в OpenAI первоначально строили генераторы изображений на основе моделей-трансформеров, но на смену Image GPT пришли диффузионные алгоритмы. При обучении CM3Leon использовались 2 млн изображений, лицензированных у Shutterstock — самая мощная версия модели имеет 7 млрд параметров — в два раза больше, чем у OpenAI DALL-E 2. Наконец, здесь использован механизм дообучения SFT (Supervised Fine-Tuning), обычно свойственный генераторам текста. В результате увеличилась производительность модели при генерации изображений и составлении описаний к готовым картинкам, а система получила возможность редактировать изображения по текстовым командам, например, «изменить цвет неба на ярко-синий».

 Генерация интерьера с объектами, для которых указываются точные координаты

Генерация интерьера с объектами, для которых указываются точные координаты

В результате Meta CM3Leon воспринимает в качестве исходных данных весьма конкретные команды — вплоть до того, в какой области изображения в пикселях должен находиться тот или иной предмет. Для сравнения, DALL-E такие нюансы игнорирует и зачастую даже отказывается помещать на изображение объекты, непосредственно указанные в инструкции.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Использование ИИ превратилось из рекомендации в обязанность для менеджеров Microsoft 2 ч.
Долг Google по штрафам в России превысил 27 млрд рублей — и ещё 2,8 дуодециллиона рублей 2 ч.
Российские банки тестируют заменитель Apple Pay, но до массового внедрения ещё далеко 2 ч.
Роскомнадзор зарегистрировал почти 150 тысяч блогеров-десятитысячников 2 ч.
Facebook захотел покопаться в фотографиях на смартфонах пользователей — скорее всего, для обучения ИИ 4 ч.
В миллионах принтеров Brother обнаружены уязвимости безопасности — некоторые невозможно исправить 10 ч.
Runway готовит платформу для создания игр с помощью ИИ 10 ч.
ЕС пригрозил Meta ежедневными штрафами — бизнес-модель «плати или соглашайся» не прошла проверку 15 ч.
Новая статья: FBC: Firebreak — контроль потерян. Рецензия 16 ч.
Кодзима спрятал в Death Stranding 2: On the Beach отсылки к самому себе — они могут вызвать «сильный кринж» 17 ч.
Мёртвый спутник NASA потёрся об атмосферу и перепугал учёных, испустив загадочный радиосигнал 4 ч.
Tesla впервые доехала до покупателя своим ходом без людей в салоне 9 ч.
Maxell выпустила кассетный ретро-плеер MXCP-P100 с поддержкой Bluetooth-наушников и USB-C 9 ч.
Intel отправила в отставку директора по стратегии 9 ч.
Мозговой имплант N1 компании Neuralink получили уже семь пациентов с опорно-двигательными проблемами 10 ч.
Xiaomi выпустила контроллер Redmi GamePad за $70 со стиками с эффектом Холла для мобильных устройств 10 ч.
Intel скоро «догонит» AMD по доле рынка серверных процессоров 16 ч.
Intel смогла снизить долю на рынке серверных процессоров до 62 %, но доля AMD всё равно меньше 17 ч.
Учёные заставили цифровой контроллер работать почти при абсолютном нуле — это прорыв для квантовых компьютеров 18 ч.
Над США взорвался пылающий метеорит массой более тонны — осколки пробили жилой дом 21 ч.