В августе Google представила ИИ-модель Gemini 2.5 Flash Image, которая позволяет с высокой точностью контролировать процесс редактирования фотографий. Этот инструмент стал доступен всем пользователям приложения Gemini бесплатно, а разработчики могут задействовать соответствующий API для интеграции сервиса в свои продукты за относительно невысокую плату. За прошедшие с тех пор несколько месяцев алгоритм превратился в конкурента ИИ-инструментам для работы с медиаконтентом компании Adobe.

Об этом пишет Business Insider со ссылкой на данные аналитической компании Appfigures, которая подсчитала, что по мере стремительного роста числа загрузок приложения Gemini после интеграции в него новых функций для редактирования изображений, количество скачиваний приложения Firefly, в котором реализованы ИИ-инструменты Adobe для генерации изображений и видео, постепенно снижается.

Невозможно точно сказать, связаны ли эти два события между собой. По данным Appfigures, после запуска в июне приложение Firefly показало «впечатляющий» рост, а в августе количество его загрузок выросло на 150 % по сравнению с июлем. За тот же период количество скачивания Gemini выросло лишь на 20 %. Эта статистика включает в себя данные о загрузках приложений из магазинов Google Play Маркет и Apple App Store.

После обновления приложения Gemini 26 августа, когда в нём появились новые возможности в плане ИИ-редактирования фото, количество загрузок Firefly упало более чем вдвое в течение следующей недели. В это же время количество скачиваний Gemini стремительно росло.

По данным Appfigures, по состоянию на 6 октября количество загрузок Gemini выросло на 331 % по сравнению с последней неделей июля, тогда как количество скачиваний Firefly снизилось на 68 %, что стало самым низким показателям с момента обновления Gemini в августе. Для лучшего понимания масштабов следует учитывать, что на прошлой неделе Gemini скачивали на 6,1 млн раз больше, чем на неделе, когда в приложение была интегрирована новая ИИ-модель для точного редактирования фото. За этот же период количество скачиваний Firefly снизилось на 2 млн.

Данные Appfigures по разным регионам указывают на то, что в США количество скачиваний Gemini в октябре подскочило на 88 % по сравнению с сентябрём. За этот же период популярность Firefly в стране упала на 82 %. Это указывает на то, что Gemini превращается в серьёзного конкурента в сфере обработки изображений.

Китайские учёные из Университета Цинхуа (Tsinghua University) разработали инновационный оптический чип Yuheng (Rafael) размером с ноготь, способный анализировать свет в режиме реального времени с высочайшей спектральной точностью, ранее доступной лишь для громоздких лабораторных установок. На основе чипа они создают прибор для установки на Большой Канарский телескоп с самым большим в мире зеркалом — 10,4 м, и обещают революцию в астрономии и не только.

Разработка на несколько порядков ускорит сбор информации о Вселенной. Например, данные обо всех звёздах Млечного Пути, доступных для наблюдения в телескоп GTC (Gran Telescopio CANARIAS), с помощью прибора с чипом Rafael можно будет собрать менее чем за десять лет, тогда как в случае альтернативных наблюдений на это понадобятся несколько тысячелетий.

Прорывная технология создана благодаря сочетанию знаний в области оптики, искусственного интеллекта и материаловедения, что позволило преодолеть традиционный компромисс между разрешением и эффективностью. Иначе говоря, либо данные получаются быстро, но с низким разрешением, либо — медленно, но с множеством деталей. Новая разработка позволит собирать данные с невообразимым разрешением в реальном времени и в компактном форм-факторе. Эта компактность может проявить себя также в роботизированном зрении, автопилотах и анализаторах чего угодно — от дистанционного зондирования состава почв коптерами до проверки качества продуктов на полках магазинов.

Однако самым первым проектом китайской команды станет разработка оптического анализатора для крупнейшего в мире наземного телескопа с одним зеркалом — Большого Канарского телескопа, расположенного на Канарских островах в Испании. Китайские учёные посетили эту площадку в мае текущего года и договорились о партнёрстве. Этот телескоп используется для изучения звёзд, галактик, тёмной материи и чёрных дыр, и тестирование, о чём также заявлено в свежей публикации в журнале Nature, станет ключевым шагом на пути от лабораторного прототипа к практическому применению.

Чип Yuheng демонстрирует выдающиеся характеристики: он способен различать цвета (обладает спектральной чувствительностью) с шагом менее 0,1 нм, обеспечивая разрешение в 100 раз выше, чем у аналогичных устройств для моментальной спектроскопии. Благодаря высокой скорости обработки — до 10 000 звёзд в секунду — технология позволит кратно сократить время наблюдений. Исследователи подчёркивают, что заявленная производительность достигается без значительных потерь света, что делает решение идеальным для интеграции в компактные системы.

Принцип работы чипа Rafael основан на вычислительной оптике, где вместо традиционного расщепления света на спектральные компоненты применяется кодирование всего пучка света уникальным паттерном внутри устройства. Тем самым возникает явление интерференции между опорным и анализируемым потоком. В основе чипа лежит кристалл ниобата лития, который под напряжением способен изменять направление света, а для последующего декодирования и восстановления спектральной информации используются ИИ-алгоритмы. Весь анализ происходит на лету, без задержек. Чип пропускает 73 % входящего света и работает на скорости 88 кадров в секунду, минимизируя потери яркости и обеспечивая сверхвысокое цветовое разрешение в видимом и ближнем инфракрасном диапазонах.

Потенциальные применения Yuheng выходят далеко за рамки астрономии: в медицине он позволит разрабатывать неинвазивные методы анализа тканей для диагностики (с проникновением в ткани в инфракрасном диапазоне), в сельском хозяйстве и экологии — определять загрязнители и качество почвы с помощью дронов, а в автономных автомобилях — точнее различать дорожные знаки, покрытие и препятствия в сложных условиях освещения. Роботы и медицинские сканеры также выиграют от такого «сверхзрения».

В будущем команда сосредоточится на повышении стабильности чипа, интеграции встроенных вычислений для ускорения обработки данных и адаптации дизайна для широкого коммерческого и научного использования, тем самым обещая революцию в оптических технологиях.

Подразделение Microsoft AI, отвечающее за разработки в сфере искусственного интеллекта, анонсировало алгоритм MAI-Image-1 — первый ИИ-генератор изображений по текстовому описанию, полностью созданный внутри компании. Софтверный гигант, не так давно представивший свои первые ИИ-модели, назвал новый генератор изображений «следующим шагом на нашем пути».

Microsoft заявила, что собирала отзывы профессиональных создателей контента, чтобы избежать «повторяющихся или шаблонно-стилизованных результатов». Компания утверждает, что MAI-Image-1 «превосходно справляется» с созданием фотореалистичных изображений. Кроме того, алгоритм способен обрабатывать запросы и генерировать изображения быстрее, чем «более крупные и медленные модели». MAI-image-1 уже занял место в топ-10 рейтинга бенчмарка LMArena, пользователи которого могут сравнивать результаты работы разных нейросетей и выбирать лучшие из них.

Алгоритм MAI-Image-1 присоединился к списку других ИИ-продуктов Microsoft, таким как генератор голоса MAI-Voice-1 и чат-бот MAI-1-preview. Microsoft была одним из первых и крупнейших инвесторов OpenAI, но со временем отношения между компаниями стали всё более сложными. На этом фоне Microsoft начала использовать ИИ-модели Anthropic для обеспечения работоспособности некоторых функций на платформе Microsoft 365, а также делать существенные инвестиции в разработку собственных нейросетей.

Портал ComputerBase провёл глубокий анализ INT8-реализации технологии масштабирования FSR 4, ранее случайно утекшей в Сеть из-за ошибки AMD. Данная версия FSR 4 теоретически не требует видеокарты на архитектуре RDNA 4 (Radeon RX 9000), а потому может работать и на более старших поколениях видеокарт Radeon.

В августе AMD по ошибке опубликовала исходный код технологии апскейлинга в играх FSR 4. Он был загружен в репозиторий на GitHub, но в последствии удалён. Несмотря на оперативное изъятие файлов, их копии уже распространились в открытом доступе. В опубликованных файлах были представлены веса моделей ИИ, которые сами по себе были малополезны для геймеров. Позже моддеры скомпилировали полноценные DLL-файлы, которые служили заменой оригинальным библиотекам и корректно работали с играми, поддерживающими предыдущие версии технологии масштабирования AMD.

INT8-реализация технологии масштабирования FSR 4 считается неофициально совместимой с RDNA 2 и RDNA 3, поскольку эти архитектуры не поддерживают аппаратное ускорение FP8 (Floating Point 8-bit), формата, используемого видеокартами серии Radeon RX 9000. В результате обе версии FSR 4 различаются по производительности и качеству изображения. Хотя анализ ComputerBase в основном сосредоточен на оценке влияния INT8-реализации FSR 4 на частоту кадров, портал также подробно исследовал качество изображения, которое она обеспечивает.

Журналисты установили, что утекшая в Сеть INT8-реализация FSR 4 обеспечивает немного менее стабильное изображение, чем официальная сборка FP8 для RDNA 4. Различия зависят от игры и сцены, но достаточно заметны в динамичных эпизодах. Мелкие детали, такие как заборы, крыши и растительность, как правило, мерцают сильнее на RDNA 2 и RDNA 3. В движении у таких персонажей, как Элой в Horizon Forbidden West, появляется больше артефактов, а листва выглядит менее чёткой.

«Мы провели анализ нескольких игр, и вывод очевиден: FSR 4 для RDNA 4 визуально не соответствует утекшей в Сеть FSR 4 для RDNA 3 и RDNA 2. У первой есть преимущество, которое заметно в некоторых играх, но едва заметно в других. Однако есть и хорошая новость: FSR 4 Light стабильно выглядит значительно лучше FSR 3.1, пусть это и не такое уж большое достижение. Однако по визуальным причинам её всё равно стоит использовать, несмотря на отставание от версии FP8», — сообщает ComputerBase.

В целом FSR 4 INT8 сохраняет многие преимущества алгоритма, но ей не хватает плавности и точности рендеринга версии FP8 для RDNA 4. Журналисты также опубликовали два видеосравнения, с которыми можно ознакомиться на их сайте.

Что касается производительности, то она зависит от видеокарты. В среднем FSR 4 INT8 снижает частоту кадров примерно на 9–13 % на видеокартах RDNA 3 (Radeon RX 7800 XT) и RDNA 2 (Radeon RX 6800 XT), тогда как официальная версия FP8 на RDNA 4 (Radeon RX 9060 XT) демонстрирует снижение всего на 3–5 %. Наиболее заметна разница на Radeon RX 9060 XT — по сравнению с FSR 3.1 она составляет до 17 %.

Производительность при использовании FSR 4 снижается при более низком исходном разрешении и агрессивных настройках — например, при выборе режима «Производительность» для масштабирования. В таких случаях в некоторых играх видеокарты на базе RDNA 2 даже превосходят модели RDNA 3, как, например, в Cronos. В других проектах, например в God of War Ragnarok, RDNA 3 имеют преимущество. Но в целом закономерность очевидна: архитектура RDNA 4 эффективно справляется с FSR 4, RDNA 3 демонстрирует умеренное снижение производительности с данной версией апскейлера, а RDNA 2 фактически работает на пределе своих возможностей.

Хотя DJI пока не делала официального заявления, утёкшие в интернет изображения подтверждают скорый выход модульной компактной экшн-камеры Osmo Nano, идейного продолжателя модели Action 2, дебютировавшей в 2021 году. Новинка DJI сохранила модульный принцип Action 2, например, экран с магнитным креплением, но при этом значительно меньше предшественницы — по размеру она ближе к Insta360 Go Ultra, анонсированной в прошлом месяце.

Вчера инсайдер Роланд Квандт (Roland Quandt) опубликовал официальные фотографии DJI Osmo Nano, на которых показан модуль камеры без собственного экрана с дополнительным модулем для съёмок в реальном времени или показа уже отснятого материала.

Подробности о возможностях камеры DJI Osmo Nano пока немного, но YouTube-блогер The Product Village показал в коротком ролике коробку новинки, из надписей на которой можно заключить, что камера получит 128 Гбайт встроенной памяти и, возможно, будет выпускаться в нескольких различных комплектациях с различными аксессуарами.

Компания AMD выпустила FidelityFX SDK 2.0, тем самым открыв разработчикам игр доступ к своей технологии ИИ-масштабирования FSR 4 (FidelityFX Super Resolution 4). Теперь разработчики могут напрямую интегрировать FSR 4 в свои проекты, используя готовые подписанные DLL-библиотеки. Однако в будущем API AMD FidelityFX позволит обновлять FSR 4 через драйверы с помощью функции AMD FSR Upgrade.

Выпуск SDK открывает возможности для прямой интеграции AMD FSR 4 в игры. До сих пор поддержка FSR 4 зависела от API AMD FidelityFX, который использовался для обновления игр с FSR 3.1 до FSR 4. Вскоре игры смогут поддерживать технологию AMD FSR 4 по умолчанию. Это означает, что будущим проектам не потребуются драйверы, оптимизированные специально для FSR 4.

Вместе с выпуском SDK для FSR 4 компания AMD представила новый плагин для Unreal Engine 5, который позволяет использовать FSR 4 в версиях Unreal Engine 5.1–5.6.

«Обновление AMD FidelityFX SDK v2.0 включает в себя наш передовой алгоритм масштабирования на основе машинного обучения AMD FidelityFX Super Resolution 4 (FSR 4). Новый алгоритм масштабирования AMD FSR 4 с машинным обучением обучен на высококачественных игровых данных, полученных с помощью реального игрового процесса на графических процессорах AMD Instinct. FSR 4 использует аппаратно-ускоренные функции архитектуры AMD RDNA 4, разработанные для обеспечения максимального качества масштабирования и существенного прироста производительности. AMD FSR 4 обеспечивает значительное улучшение качества изображения по сравнению с масштабированием FSR 3.1 благодаря алгоритму на основе машинного обучения, разработанному для повышения временной стабильности, лучшей детализации и уменьшения ореолов. По сравнению с FSR 3.1 технология FSR 4 сокращает ореолы на движущихся объектах и устраняет артефакты на поверхностях, которые отсутствуют в исходном изображении. Это значительно улучшает качество картинки во время игры», — сообщает AMD в своём официальном блоге.

Для поддержки технологии FSR 4 требуются видеокарты Radeon RX 9000 на архитектуре RDNA 4.

Астрономы обнаружили далёкую галактику, в которой, по всей видимости, расположены дюжины плотно упакованных областей звездообразования, из-за чего она напоминает виноградную гроздь. Результаты исследования были опубликованы 7 августа в журнале Nature Astronomy, пишет Space.com.

Из-за своей формы и структуры объект получил название «Космический виноград». Новое исследование показало, что во вращающемся диске галактики находится как минимум 15 массивных сгустков звездообразования, образующих нечто, напоминающее гроздь ярко-фиолетового винограда в космосе. Учёные полагают, что галактика сформировалась всего через 930 млн лет после Большого взрыва.

Наблюдения проводились с помощью космического телескопа имени Джеймса Уэбба (JWST) и Атакамской большой миллиметровой/субмиллиметровой антенной решётки (ALMA) с применением метода гравитационного линзирования. В нём галактическое скопление RXCJ0600-2007, расположенное перед объектом, сыграло роль «увеличительного стекла» для более далёких структур.

«Этот объект известен как одна из самых сильно гравитационно линзированных дальних галактик, когда-либо обнаруженных», — отметил руководитель исследования Сэйдзи Фудзимото (Seiji Fujimoto) в заявлении обсерватории Макдональда Техасского университета в Остине (UT Austin).

«Благодаря этому мощному естественному увеличению в сочетании с наблюдениями, выполненными с помощью одних из самых современных телескопов мира, мы получили уникальную возможность изучить внутреннюю структуру далёкой галактики с беспрецедентной чувствительностью и разрешением», — добавил Фудзимото, начавший исследование в Техасском университете в Остине и ныне работающий в Университете Торонто.

Для изучения «Космического винограда» учёные проанализировали более 100 часов телескопических наблюдений. Ранее полученные космическим телескопом «Хаббл» изображения предполагали наличие внутри неё гладкого вращающегося диска, однако высокое разрешение ALMA и JWST позволило увидеть гораздо более сложную картину — детальнейшее на сегодняшний день изображение внутренней структуры далёкой галактики и массивных сгустков плотного газа, готовых к звездообразованию.

Выше представлены изображения скопления галактик RXCJ0600-2007, полученные телескопом JWST в ближнем инфракрасном диапазоне, демонстрирующие мощный эффект гравитационного линзирования. Эти наблюдения с рекордным разрешением раскрыли структуру далёкой галактики ранней Вселенной, состоящей более чем из 15 компактных сгустков звездообразования, расположенных подобно виноградной грозди.

«Наши наблюдения показывают, что в свете молодых звёзд некоторых ранних галактик доминируют несколько массивных, плотных, компактных скоплений, а не однородная звёздная структура», — отметил соавтор исследования Майк Бойлан-Колчин (Mike Boylan-Kolchin), профессор астрономии Техасского университета в Остине.

По мнению исследователей, это открытие меняет представления о раннем формировании галактик. Оно впервые демонстрирует чёткую связь между их малыми внутренними структурами — в данном случае массивными сгустками звездообразования — и общим вращением, что позволяет предположить: многие ранее наблюдавшиеся как гладкие галактики на самом деле могут быть заполнены подобными скрытыми скоплениями звёзд.

Alibaba представила модель искусственного интеллекта Qwen-Image 20B MMDiT, предназначенную для работы с изображениями — в ней разработчик значительно улучшил механизмы прорисовки сложных текстов и реализовал возможности точного редактирования изображений.

Модель, доступ к которой откроется на платформе Qwen Chat в разделе «Генерация изображений», обладает расширенными возможностями рендеринга текста, в том числе многострочных макетов с семантикой на уровне абзацев и детализированными элементами. Поддерживаются языки на основе букв и иероглифов. Усовершенствованные механизмы многозадачного обучения помогли расширить возможности редактирования изображений с сохранением смыслового наполнения и визуального реализма.

Новая Qwen-Image, уверяет Alibaba, обошла существующие решения в нескольких тестах по задачам на генерацию и редактирование изображений, включая GenEval, DPG, OneIG-Bench, GEdit, ImgEdit и GSO. Особых успехов удалось добиться в тестах на качество прорисовки текста, таких как LongText-Bench, ChineseWord и TextCraft — новая модель превзошла современные аналоги. Qwen-Image, в частности, справляется с точным отображением китайских иероглифов на вывесках магазинов с правильной глубиной резкости, с созданием детализированного английского текста на обложках книг и информационных слайдах, поддерживается работа с двуязычным контентом.

Помимо обработки текста, модель свободно ориентируется в художественных жанрах от фотореализма до импрессионизма; поддерживаются различные операции при редактировании изображений, в том числе изменение стиля, добавление, удаление и улучшение деталей, а также редактирование текста и изменение поз у персонажей. В проекте Qwen-Image разработчики Alibaba, по их словам стремились способствовать развитию генерации изображений, снизить технические барьеры для создания визуальных материалов и вдохновить коллег на инновационные приложения.

Компания xAI Илона Маска (Elon Musk) официально представила Grok Imagine — генератор изображений и видео, доступный для подписчиков тарифных планов SuperGrok и Premium+. Как и обещал Маск, позиционирующий Grok как ИИ, свободный от цензуры, Grok Imagine позволяет создавать контент, который обычно в интернете маркируется аббревиатурой NSFW (not safe/suitable for work — «небезопасно/неподходяще для демонстрации на работе»).

Grok Imagine преобразовывает текстовые или графические запросы в 15-секундные видеоролики с оригинальным звуком и предлагает «пикантный режим», позволяющий пользователям создавать контент сексуального характера, включая частичную наготу. Пример такого видео опубликовал в своём аккаунте X Илон Маск. Журналисты TechCrunch сообщили, что многие из опробованных ими (во имя журналистики, конечно!) пикантных запросов привели к появлению «модерированных» размытых изображений, однако изображения полуобнажённых тел им получить удалось.

NSFW-контент неудивителен для xAI, учитывая выход в прошлом месяце пикантного аниме-компаньона Ani с искусственным интеллектом. Но так же, как необузданная натура Grok была забавной, пока он не начал изрыгать оскорбительный, антисемитский и женоненавистнический контент, появление Grok Imagine может повлечь за собой свои непредвиденные последствия.

При этом в Grok Imagine предусмотрены серьёзные ограничения, особенно учитывая, что модель позволяет создавать контент с изображениями знаменитостей. Так, попытки журналистов TechCrunch сгенерировать изображение беременного Дональда Трампа (Donald Trump) успехом не увенчались — Grok Imagine создавал либо изображения Трампа с младенцем на руках, либо рядом с беременной женщиной.

Grok Imagine стремится конкурировать с такими игроками, как Google DeepMind, OpenAI, Runway и китайские нейросети, но пока находится на начальном этапе развития. По отзывам тестировщиков, генерируемые им изображения и видео людей нередко выглядят мультяшно, особенно из-за неестественной текстуры кожи.

Тем не менее, генератор впечатляет: изображения создаются за считаные секунды и продолжают формироваться автоматически по мере прокрутки страницы. Затем их можно анимировать в стилизованные видеоролики. Пользовательский интерфейс удобен и интуитивно понятен.

Недавно Маск заявил о намерении создать Baby Grok — чат-бот, пригодный для работы с детским контентом. Учитывая, насколько скандально развивается «взрослая версия» Grok, подобное направление экспансии довольно рискованно. Тем не менее, с точки зрения охвата аудитории эта ставка вполне может себя оправдать. Популярность Baby Grok может стать дополнительным источником дохода для xAI и новой статьёй расходов для родителей.

Подразделение Sony Imaging & Sensing Solution недавно провела встречу с инвесторами, в рамках которой представители направления Sony Semiconductor Solutions рассказали о перспективном трёхслойном датчике изображения, который обещает значительные улучшения при фото- и видеосъёмке. В настоящее время Sony выпускает матрицы для камер, основанные на двухслойной архитектуре.

По данным источника, в рамках прошедшей встречи с инвесторами компания подвела итоги 2024 финансового года, в ходе которого были зафиксированы рекордно высокие продажи и операционная прибыль. Вместе с этим представители компании рассказали о дальнейших планах по развитию бизнеса. Sony намерена инвестировать значительные средства в новые технологии, связанные с производством датчиков изображения. Одним из направлений станет развитие направления многослойных матриц для камер.

Sony уже использует многослойные датчики во многих камерах, но на данном этапе даже во флагманских моделях используются двухслойные матрицы. Речь идёт о датчиках, в которых один слой фотодиодов содержит все пиксели, используемые для съёмки изображений, а нижний транзисторный слой отвечает за обработку данных. Долгосрочные планы Sony по добавлению третьего слоя, по сути, означают расширение возможностей в плане обработки и повышения качества изображений. Чем выше вычислительная мощность матрицы, тем качественнее будут изображения при прочих равных условиях.

По данным Sony, увеличение вычислительной мощности на уровне сенсора может улучшить видимый динамический диапазон, чувствительность, шумоподавление, эффективность, скорость считывания и разрешение, хотя последнее больше касается видео, а не фотосъёмки. Появление нового слоя само по себе не изменит разрешение, но увеличение скорости считывания и производительности может дать возможность съёмки видео более высокого качества. Существующие камеры с датчиками высокого разрешения, как правило, не могут использовать его в полной мере при съёмке видео как раз из-за проблем со скоростью обработки данных.

Более высокая скорость считывания благоприятно повлияет на многие аспекты работы камер, в том числе в режиме скользящего затвора, при скоростной серийной съёмке, а также повысит эффективность автофокуса. Повышение производительности может улучшить видимый динамический диапазон, но на практике динамический диапазон сенсора зависит от многих факторов, включая полную ёмкость пикселей матрицы и её шумовые характеристики. Хотя обработка и влияет на уровень шума, полная ёмкость пикселей остаётся неизменным физическим состоянием, из-за чего добавление ещё одного слоя может привести к снижению этого показателя в результате сжатия размеров пикселей.

Вопрос о том, когда трёхслойный датчик изображения может появиться в флагманских камерах Sony, остаётся открытым. Однако история компании говорит о том, что она умеет создавать инновационные матрицы и быстрые сенсоры с высоким разрешением. Sony остаётся привержена разработке полнокадровых датчиков, что позволяет с оптимизмом смотреть в будущее фото- и видеосъёмки.

Компания Adobe запустила новые функции генеративного ИИ для Photoshop, упрощающие добавление и удаление людей и объектов на фотографиях. Обновление включает функции масштабирования изображений с помощью ИИ, улучшенный инструмент удаления объектов, а также средства автоматической композиции, которые позволяют плавно вписывать новые элементы в изображения всего за несколько кликов.

Функция Harmonize основана на экспериментальной разработке Project Perfect Blend, представленной Adobe в прошлом году. При добавлении нового объекта на фотографию Harmonize автоматически корректирует цвет, освещение, тени и визуальный тон добавленного элемента, чтобы он естественным образом вписался в основное изображение. Обычно это требует определённых навыков и опыта работы с программами для редактирования фотографий. Бета-версия инструмента доступна для пользователей как веб-версии Photoshop, так и в приложении для ПК, а также в раннем доступе в мобильном приложении Photoshop для iOS.

Новый инструмент генеративного ИИ для масштабирования изображений также доступен в бета-версии для Photoshop в веб-версии и версии для ПК. По словам Adobe, он обеспечивает «высококачественное улучшение разрешения до восьми мегапикселей без ущерба для чёткости изображения», что позволяет улучшить детализацию изображений низкого качества. Это будет полезно, например, при восстановлении старых фотографий или адаптации изображений для различных платформ.

Инструмент автоматического удаления объектов для пользователей настольных и веб-версий Photoshop также был обновлён. По словам разработчиков, он «очищает изображения с большей точностью». Улучшения должны привести к уменьшению количества нежелательных фоновых элементов на изображении и созданию более реалистичного контента для заполнения любых нежелательных пробелов. В частности, теперь он будет удалять нужный объект с изображения и редактировать получившийся пробел на снимке, добавляя максимально логичные детали.

В Photoshop уже были функции генеративного ИИ, которые позволяют добавлять новые объекты к изображениям на основе подсказок. Результаты могут быть непредсказуемыми, поэтому компания добавила меры предосторожности, предотвращающие создание чего-либо подозрительного, например, фейков известных публичных личностей, сцен насилия или материалов сексуального характера.

Единственным ограничением той же новой функции Harmonize является то, что пользователю придётся найти изображения, которые он хочет объединить. Photoshop будет применять к отредактированным изображениям метки Content Credentials (учётные данные контента), содержащие информацию о том, как они были обработаны, но не предотвращать создание потенциально спорного контента.

«Пользователи, использующие функцию Harmonize, должны соблюдать условия использования Adobe, которые запрещают создание незаконного или вредоносного контента. Adobe серьёзно относится к безопасности контента во всех своих продуктах и внедрила такие меры безопасности, как настройки Content Credentials, для защиты пользователей и борьбы с вредоносным и вводящим в заблуждение контентом. Учётные данные контента позволяют добросовестным пользователям добавлять историю редактирования к своей работе и создавать цифровую цепочку доверия и подлинности», — отметил в разговоре с порталом The Verge менеджер по продукту Photoshop Джоэл Баер (Joel Baer).

Adobe представила в последней бета-версии Photoshop серию новых инструментов, которые, по заявлению компании, устранят «утомительные шаги, снизят уровень сложности и сделают точное редактирование более быстрым и интуитивно понятным». Самой востребованной среди пользователей, по словам Adobe, является ИИ-функция Generative Upscale («Генеративное Масштабирование»), позволяющая увеличивать изображения до 8 мегапикселей без потери качества.

В последней версии программы также появился обновлённый инструмент Remove («Удаление»), созданный на основе последней ИИ-модели Adobe Firefly. Он выполняет все ожидаемые функции стирания и удаления объектов, но при этом, по утверждению Adobe, обеспечивает более реалистичное изображение — на фотографии остаётся «меньше артефактов от удалённых объектов». Этот инструмент, как и Generative Upscale, доступен в бета-версии для настольных компьютеров и в веб-приложении.

Adobe также запускает функцию Harmonize («Гармонизация»), ранее анонсированную под названием Project Perfect Blend на конференции Max в октябре 2024 года. Используя ИИ-модель Adobe Firefly, Harmonize «интеллектуально анализирует окружающий контекст, автоматически корректируя цвет, освещение, тени и визуальный тон для создания бесшовных, цельных композиций». Adobe утверждает, что новая функция существенно сократит необходимость ручной корректировки. Помимо бета-версии на настольном компьютере или в веб-браузере, она также доступна для пользователей мобильных устройств iOS.

Теперь пользователи получили возможность переключаться между различными ИИ-моделями Adobe Firefly. Кроме того, в этой бета-версии Photoshop появилась функция Projects («Проекты»), которая обеспечит сохранение всех файлов пользователя в едином пространстве и позволит отправлять заказчику целые коллекции, а не одну версию за раз.

Компания Google представила ИИ-генератор изображений следующего поколения — Imagen 4, назвав его «лучшей на сегодняшний день моделью преобразования текста в изображение». «Imagen 4 предлагает значительно улучшенную визуализацию текста по сравнению с нашими предыдущими моделями и расширяет границы качества генерации изображений по тексту», — сообщила компания.

Imagen 4 доступен в виде платной предварительной версии через API Gemini, а также для ограниченного бесплатного тестирования — в Google AI Studio. В настоящее время семейство Imagen 4 включает две модели: Imagen 4 и Imagen 4 Ultra.

Модель преобразования текста в изображение Imagen 4 разработана для решения широкого спектра задач генерации изображений с существенным улучшением качества — особенно при работе с текстом — по сравнению с Imagen 3. Стоимость использования Imagen 4 составляет $0,04 за одно сгенерированное изображение.

Флагманская модель Imagen 4 Ultra предназначена для создания изображений, максимально точно соответствующих текстовым подсказкам пользователя, что позволяет добиться лучших результатов по сравнению с другими ведущими генеративными моделями. Стоимость одного изображения, созданного с помощью Imagen 4 Ultra, составляет $0,06.

Все изображения, созданные моделями Imagen 4, получают маркировку в виде невидимого цифрового водяного знака SynthID.

Платформа генеративных ИИ-сервисов Adobe Firefly теперь доступна на устройствах, работающих под управлением Android и iOS. Новое мобильное приложение Firefly позволяет пользователям генерировать изображения и видео по текстовому описанию, а также экспериментировать с популярными ИИ-инструментами для редактирования фотографий.

Приложение Firefly для Android и iOS включает в себя фирменные алгоритмы Adobe для преобразования текста в изображения и видео, а также генеративные функции, такие как Generative Fill и Generative Expand, которые ранее были доступны в Photoshop. В дополнение к этому пользователи приложения могут взаимодействовать с ИИ-моделями сторонних разработчиков, такими как Google Imagen 3 и Imagen 4 для создания картинок, Veo 2 и Veo 3 для создания видео, а также генератором изображений OpenAI.

Созданный в приложении Firefly контент автоматически синхронизируется с учётной записью пользователя на платформе Creative Cloud, что упрощает его дальнейшее размещение в интернете или обработку в других приложениях Adobe. Как и в случае с веб-приложением Firefly, для взаимодействия с некоторыми ИИ-инструментами необходимы кредиты Firefly, которые можно получить в рамках ежемесячных обновлений или путём оформления одного из платных тарифов Creative Cloud.

Вместе с этим Adobe расширила возможности генерации видео в публичной бета-версии платформы интерактивных досок Firefly Boards. Теперь пользователи могут повторно микшировать загруженные клипы и генерировать новые кадры с помощью ИИ-модели Firefly, а также сторонних инструментов, таких как Veo 3 от Google. В ближайшее время разработчики также внедрят на платформу больше партнёрских ИИ-моделей от сторонних разработчиков для увеличения количества доступных функций.

Популярность ИИ-решений OpenAI среди пользователей сейчас зашкаливает, и каждый новый продукт пользуется буквально ажиотажным спросом. По словам главы OpenAI Сэма Альтмана (Sam Altman), компании пришлось пойти на необычные меры, чтобы справиться со спросом на создание изображений в стиле японской студии Ghibli Хаяо Миядзаки (Hayao Miyazaki) с помощью генератора изображений в ChatGPT.

Сэм Альтман тогда пошутил, что шумиха вокруг этой функции чуть не расплавила графические процессоры компании, вынудив её на время ввести ограничения на частоту отправки запросов на генерацию изображений, чтобы смягчить проблему. Он буквально умолял пользователей снизить частоту генерации изображений, объясняя просьбу тем, что команде OpenAI нужна передышка и время для отдыха.

Из-за всплеска спроса на картинки в стиле Ghibli от GPT-4o Image Generation аудитория чат-бота ChatGPT менее чем за час увеличилась на 1 млн пользователей. Популярность сервиса объясняется тем, что он позволяет получать более реалистичные изображения по сравнению с другими инструментами, такими как технология генерации изображений DALL-E 3.

В недавнем интервью ресурсу Bloomberg Сэм Альтман признал, что компания была вынуждена идти на «неестественные» меры, чтобы справиться с вирусным эффектом Ghibli. «Я не думаю, что это случалось с какой-либо компанией раньше, — говорит Альтман. — Я видел вирусные моменты, но я никогда не видел, чтобы кто-то сталкивался с таким массовым наплывом использования продукта».

Альтман рассказал, что создание изображения с помощью нового генератора изображений компании требует значительных вычислительных ресурсов, и чтобы справиться со всплеском спроса, OpenAI пришлось сделать много вещей, в том числе позаимствовать вычислительные мощности у исследовательского подразделения OpenAI, а также отсрочить запуск новых функций.

«У нас нет сотен тысяч графических процессоров, которые просто простаивают без дела», — сообщил Альтман, добавив, что если бы у OpenAI было больше графических процессоров, она могла бы лучше справляться с резкими скачками спроса, и ей бы не пришлось прибегать к экстремальным мерам, таким как ограничения по скорости и задержка предоставления новых функций для бесплатных пользователей.