Сегодня 01 марта 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → изображения
Быстрый переход

Один апскейлинг на всех: Microsoft анонсировала DirectSR для унификации подходов Nvidia, AMD и Intel

Несколько дней назад сообщалось, что компания Microsoft разрабатывает некую технологию под названием DirectSR. На тот момент было выдвинуто предположение, что речь идёт об универсальной технологии масштабирования изображения в играх, которая будет поддерживаться всеми производителями видеокарт. К сожалению, DirectSR не является универсальным апскейлером.

 Источник изображения: VideoCardz

Источник изображения: VideoCardz

В Microsoft объяснили, что DirectSR — это новый API, предназначенный для игровых разработчиков. Он призван упростить и сделать более универсальным процесс интеграции уже существующих и будущих технологий масштабирования в игровые проекты.

DirectSR был разработан при поддержке ведущих производителей видеокарт в лице NVIDIA и AMD. Новый API собираются представить на конференции GDC 2024 в марте. DirectSR охватывает ключевые функции и особенности, присущие всем технологиям временного масштабирования. В большинстве случаев речь здесь идёт о векторах движения, буферах глубины и цвета, метках реакции и экспозиции. Для эффективной работы апскейлера в игре эти переменные (в случае той же AMD FSR) должны быть распределены между игровыми кадрами. Судя по всему, другие существующие технологии временного масштабирования имеют аналогичные требования и ключевые особенности. DirectSR с одной стороны сделает процесс интеграции различных апскейлеров более универсальным, а с другой — позволит расширить количество переменных для их использования в составе других возможных будущих технологий масштабирования.

«Мы рады анонсировать DirectSR — наш новый API, разработанный при поддержке производителей GPU и предназначенный для упрощения процесса интеграции технологий масштабирования (Super Resolution, SR) в новое поколение игр. Масштабирование изображения является передовой технологией, которая не только увеличивает разрешение в играх, но также позволяет повысить их визуальное качество. DirectSR представляет собой то недостающее звено, которого не хватало разработчикам игр при интеграции апскейлеров для обеспечения наиболее эффективного и плавного игрового процесса независимо от того или иного аппаратного обеспечения. Этот API позволяет использовать технологии масштабирования от разных вендоров через общий набор входных и выходных данных и с помощью одного пути выполнения кода активировать в играх различные решения, включая NVIDIA DLSS Super Resolution, AMD FidelityFX Super Resolution и Intel XeSS. API DirectSR скоро станет доступен в качестве превью-версии в составе пакета Agility SDK для тестирования и отзывов со стороны разработчиков игр», — сообщила Microsoft на своём сайте.

На данный момент самыми популярными технологиями масштабирования являются NVIDIA DLSS2 и DLSS 3 (закрытые технологии, работающие только на видеокартах GeForce RTX), AMD FSR 2 и FSR 3 (обе являются открытыми технологиями), а также Intel XeSS (так и не стала открытой, несмотря на обещания Intel). Также можно выделить TSR в составе Unreal Engine, которая тоже может получить поддержку DirectSR.

Tecno представила систему обработки изображений PolarAce c сенсором Sony

Бренд смартфонов и умных устройств Tecno представил на выставке MWC 2024 новую технологию обработки изображений Tecno PolarAce, которая будет доступна в смартфоне Tecno Camon 30 Premier 5G во втором квартале 2024 года.

Tecno PolarAce использует возможности процессора обработки изображений Sony CXD5622GG на основе вычислений с плавающей запятой, датчики изображения Sony Lytia, технологию получения изображений с несколькими оттенками кожи Tecno Universal Tone, а также новейшие технологии ИИ-визуализации Tecno.

Процессор Sony CXD5622GG выполняет искусственное шумоподавление и оптимизацию качества изображения на каждом кадре видео, обеспечивая чёткость динамичных кадров, контрастность, восстановление точных оттенков цветов и повышение качества видеозаписи даже в условиях недостаточного освещения. Благодаря поддержке вычислений с плавающей запятой производительность процессора составляет 4,6 Тфлопс на вычислениях FP16.

Разработка Tecno PolarAce была бы невозможна без сотрудничества с Sony Lytia, чьи CMOS-датчики созданы специально для улучшения возможностей мобильной съёмки.

Tecno PolarAce оптимизирует цветопередачу благодаря новой технологии Tecno Universal Tone, осуществляющей мобильную обработку изображений на основе ИИ для улучшения передачи текстуры и цвета кожи, а также других особенностей различных национальностей по всему миру. В её усовершенствовании участвовали учёные-колористы из различных университетов мира, а недавно собранные и проанализированные данные были интегрированы в систему искусственного интеллекта Universal Tone.

Также Tecno PolarAce дополнена функциями на базе ИИ. Встроенный портретный модуль AIGC (AI Generated-Content), позволяет генерировать изображения в любом сеттинге без загрузки стороннего приложения. А AI One Click Erase от Tecno позволяет одним движением удалять лишние объекты на фото.

Система обработки изображений Tecno PolarAce будет доступна в смартфоне Tecno Camon 30 Premier 5G, выход которого запланирован на II квартал 2024 года.

Camon 30 Premier 5G оснащён перископическим телеобъективом с эквивалентным фокусным расстоянием 70 мм и гибридным 60х зумом, обеспечивающим передачу естественных света и тени без размытия или обрезки кадра, а также снижающим шумы при ночной съёмке.

Смартфон построен на восьмиядерном 4-нм процессоре MediaTek Dimensity 8200 Ultimate 5G с графическими ускорителями Arm Mali-G610 MC6 и Imagiq 785 AI. LTPO-экран с разрешением 1,5К с пиковой яркостью 1400 кд/м2 и цветопередачей миллиона цветов является самым продвинутым в серии Camon.

Microsoft вскоре представит DirectSR — универсальную технологию апскейлинга для игр

В рамках грядущей конференции для игровых разработчиков GDC 2024, которая официально стартует 23 марта, компания Microsoft представит новую технологию масштабирования DirectSR или Direct Super Resolution.

 Источник изображений: VideoCardz

Источник изображений: VideoCardz

Подробности о новой технологии пока остаются неизвестными, но предполагается, что DirectSR станет универсальной программной технологией масштабирования изображения для видеокарт, реализованной на уровне операционной системы Windows и работающей при поддержке графических ядер. Каких именно графический ядер — Microsoft объяснит в марте.

Весьма вероятно, что основная цель технологии DirectSR заключается в обеспечении универсальной совместимости с новейшими архитектурами графических процессоров, которые уже поддерживают собственные технологии масштабирования Intel XeSS, AMD FSR и NVIDIA DLSS. Примеры тех же AMD FSR и Intel XeSS показывают, что такие технологии не обязательно привязаны к видеокартам тех или иных вендоров, и могут работать на оборудовании сторонних разработчиков, хотя их эффективность при этом может сильно отличаться.

В настоящее время разработчикам игр приходится добавлять каждую технологию масштабирования в свои игры по отдельности. Microsoft же со своей стороны может представить технологию, которая будет поддерживаться всеми современными архитектурами GPU одновременно и которую будет значительно проще реализовать в играх.

Презентация Microsoft запланирована на 21 марта. Вместе с Microsoft в ней примут участие представители компаний AMD и NVIDIA. Недавно из утечек также стало известно, что Microsoft работает над внедрением в Windows 11 новой функции масштабирования под названием Auto SR.

На данный момент непонятно, связана ли Auto SR каким-то образом с DirectSR. Однако из доступного описания следует, что она использует для работы алгоритмы ИИ.

TECNO представит на MWC 2024 технологию обработки изображений на базе ИИ и чипа собственной разработки

Бренд смартфонов и умных устройств TECNO представит 27 февраля на выставке MWС 2024 в Барселоне технологию обработки изображений TECNO PolarAce для смартфонов, которая опирается на искусственный интеллект и чип собственной разработки производителя. Для компании это будет первая подобная проприетарная технология.

 Источник изображения: TECNO

Источник изображения: TECNO

В компании объясняют, что несмотря на все значительные достижения в области технологий мобильной съёмки, традиционным CPU по-прежнему не хватает вычислительной мощности, необходимой для создания видео максимально высокого качества. Современные решения по-прежнему не позволяют создавать плавные чёткие кадры в ночное время и имеют ограниченные возможности полноэкранного HDR. TECNO PolarAce за счёт использования новейших ИИ-технологий призвана устранить эти и другие распространённые проблемы, и удовлетворить постоянно растущие требования современных пользователей.

Вместе с технологией PolarAce для обработки изображений производитель представит на MWC новый флагманский ноутбук TECNO MEGABOOK T16 Pro 2024 Ultra, а также свои последние разработки в области искусственного интеллекта для смартфонов.

TECNO приглашает всех участников MWC 2024 посетить свой стенд и познакомиться со всем ассортиментом инновационных продуктов и технологий, основанных на искусственном интеллекте. Стенд расположен по адресу: 6B11, зал 6, Fira Gran Via.

Посетители смогут ознакомиться с TECNO PolarAce на стенде 27 февраля с 18:00 после официальной презентации. Желающие посетить мероприятие могут зарегистрироваться по ссылке.

Google экстренно чинит генератор изображений в Gemini — он переборщил с расовой инклюзивностью

Google сообщила, что на время частично приостановила работу генератора изображений в чат-боте Gemini, когда выяснилось, что она допускает исторические неточности в изображении людей, связанные с расовыми вопросами. Так, при попытке изобразить американских отцов-основателей и солдат нацистской Германии она как будто ниспровергает гендерные и расовые стереотипы, что расценивают как попытку фальсификации истории.

 Такими Gemini представляет себе американских отцов-основателей. Источник изображения: Google

Такими Gemini представляет себе американских отцов-основателей. Источник изображения: Google

Компания приняла решение направить генератор изображений Gemini на доработку менее чем через сутки после поступления первых жалоб. Пользователи чат-бота запрашивали у искусственного интеллекта картинки с историческими группами или лицами и получали на выходе изображения, на которых в основном были представители рас, отличных от европеоидной. Это спровоцировало появление в интернете теорий заговора, что Google намеренно избегает показывать белых людей.

 Сенатор США в 19-м веке по мнению Gemini. Источник изображения: Google

Сенатор США в 19-м веке по мнению Gemini. Источник изображения: Google

К примеру, когда Gemini попросили создать изображение американского сенатора XIX века, ИИ предложил картинки чернокожих женщин и женщин коренных американских наций. В действительности женщина впервые стала сенатором в США лишь в 1922 году, и она была белой. Таким образом, генератор изображений Gemini стирал историю расовой и гендерной дискриминации.

Сейчас, когда Gemini просят создать изображение человека или нескольких, тот выводит сообщение следующего содержания: «Мы работаем над улучшением способности генерировать изображения людей. Ожидаем, что эта функция скоро вернётся, и мы сообщим об обновлении выпуска, когда это произойдёт». Генератор изображений появился в чат-боте Gemini (ранее Bard) в начале месяца как ответ на аналогичные продукты OpenAI и Microsoft Copilot — он создаёт картинки по текстовому запросу.

Intel Lunar Lake получат технологию повышения резкости для своей встроенной графики Xe2

Intel ведёт разработку технологии улучшения графики в играх, которая будет использоваться встроенным графическим ядром будущих процессоров Lunar Lake, а также видеокартами на основе будущих архитектур Xe. Речь идёт об адаптивном фильтре изменения резкости изображения.

 Источник изображения: VideoCardz

Источник изображения: VideoCardz

Адаптивный фильтр резкости изображения в целом работает как обычный, использующийся сегодня в играх для повышения чёткости изображения. Однако он будет более интеллектуальным. Технология сможет повышать чёткость не для всего кадра игры в целом, а лишь в отдельных его областях (например, персонажи в кадре), избегая повышения резкости в областях изображения, где не требуется применение этого фильтра (например, задний фон). Как отметила инженер Intel Немеса Гарг (Nemesa Garg), новую технологию адаптивного фильтра резкости можно будет использовать не только в играх, но и в программах, а также для видео внутри операционной системы.

 Источник изображения: Intel

Источник изображения: Intel

За работу адаптивного фильтра резкости будет отвечать аппаратный блок Display Engine. Технология предназначена для работы на архитектуре графического ядра процессоров Lunar Lake и любых будущих версий графической архитектуры Xe. Фильтр имеет минимальные требования к энергопотреблению и практически не оказывает никакого влияния на производительность, что важно для Lunar Lake, поскольку речь идёт об энергоэффективных мобильных чипах.

Intel не сообщила точной информации о том, когда представит процессоры Lunar Lake. Но это практически наверняка случится во второй половине этого года. Указанные чипы появятся одновременно с настольными и мобильными процессорами Arrow Lake. И если в последних будет использоваться графическая архитектура Xe-LPG, то в Lunar Lake будет реализована более передовая графика Xe2-LPG.

Google выпустила передовой ИИ-генератор изображений Imagen 2 — он доступен отдельно и через Bard

Google представила передовой генератор изображений Imagen 2, который, как уверяет разработчик, отличается высоким реализмом и избавлен от свойственных системам искусственного интеллекта артефактов. Система доступна как в составе чат-бота Bard, так и в качестве отдельного сервиса ImageFX на платформе бета-тестирования AI Test Kitchen.

 Источник изображения: deepmind.google

Источник изображения: deepmind.google

Google всесторонне улучшила Bard: теперь в основе чат-бота лежит большая языковая модель Gemini Pro — она была представлена ещё в декабре, но до настоящего момента работала лишь у небольшой части пользователей. Теперь Gemini Pro доступна везде, где работает Bard — на всех поддерживаемых языках, во всех странах и на всех территориях.

Но чего в Bard пока не было, так это генератора изображений. Раньше компания уступала в этом сегменте как Bing Image Creator, так и Midjourney. Но с выходом Imagen 2 силы, похоже, сравнялись — эта нейросеть теперь работает и в составе чат-бота, и как отдельный сервис ImageFX. Правда, в последнем случае потребуется регистрация в программе AI Test Kitchen — наряду с MusicFX, качество которой Google тоже улучшила. ImageFX позволяет не только генерировать реалистичные изображения по текстовому описанию, но и редактировать их, в том числе изменяя стиль.

В компании подчеркнули, что созданные ImageFX изображения маркируются как созданные ИИ посредством метаданных и цифровых водяных знаков SynthID; если эти картинки появятся в поиске Google, то они получат соответствующую пометку и там. Модель Imagen 2 «предлагает изображения самого высокого на сегодня качества, а также улучшения в проблемных областях систем преобразования текста в изображение, таких как прорисовка реалистичных человеческих рук и лиц, избавляя картинки от отвлекающих визуальных артефактов», пояснил вице-президент подразделения Google DeepMind Эли Коллинз (Eli Collins). Разработчик также заверил, что принял защитные меры, которые не позволят платформе генерировать неприемлемый контент.

ИИ-художник «Шедеврум» научился перерисовывать фото пользователей в разных стилях

Мобильной приложение «Шедеврум» компании «Яндекс» теперь может перерисовывать изображения и фотографии пользователей в разных стилях, для чего задействована нейросеть YandexART. В приложении появились «Фильтрумы» — восемь креативных режимов, которые откроют дополнительные возможности для пользователей «Шедеврума».

 Источник изображений: yandex.ru

Источник изображений: yandex.ru

С помощью «Фильтрумов» можно стилизовать свои изображения и снимки под плюшевые или вязаные игрушки, кадры из мультфильмов, пиксельную графику, нарисованные кистью изображения, а также добавить на них атмосферу зимы, неоновое свечение и красочные цветы. Новая функция работает на основе нейросети YandexART, которая полностью перерисовывает исходное изображение в выбранном стиле, сохраняя при этом сходство с оригиналом.

Для взаимодействия с новым инструментом необходимо выбрать один из предлагаемых стилей, после чего остается лишь загрузить из памяти устройства исходное изображение. Обработанные нейросетью изображения можно публиковать в ленте «Шедеврума», а также скачивать, отправлять друзьям, делиться в чатах и др.

Также анонсировано скорое появление в «Шедевруме» новых креативных режимов и функции создания собственных режимов обработки изображений посредством текстовых запросов. Сгенерированными таким образом изображениями можно будет делиться как в самом приложении, так и в соцсетях и мессенджерах. Первый специальный режим называется «Ёлочная игрушка», он появился в приложении в конце прошлого года. С помощью этого режима пользователи сервиса сгенерировали более 4,5 млн новогодних украшений.

Представлен гигантский датчик изображения на 316 Мп — почти размером с блюдце

Компания STMicroelectronics выпустила самые большие в мире датчики изображений с разрешением примерно 18К × 18К пикселей. На одной 300-мм кремниевой пластине можно изготовить всего четыре таких сенсора. Это не процессор Cerebras размером с целую пластину, но всё равно — это кремниевый чип, который не может не впечатлить.

 Источник изображений: STMicroelectronics

Источник изображений: STMicroelectronics

Датчик разработан и производится для уникальной цифровой камеры Big Sky. Камера, в свою очередь, разрабатывалась для съёмок видеоматериалов для самого большого в мире сферического кинотеатра MSG Sphere в Лас-Вегасе. Благодаря огромному и производительному датчику камера снимает видео на 316-Мп сенсор со скоростью 120 кадров в секунду с производительностью 60 Гбайт/с.

Чтобы успевать записывать материал камера подключается к специальному накопителю по нескольким оптическим интерфейсам. С питанием инженерам тоже пришлось повозиться, ведь только один датчик потребляет 23 Вт.

 Спецификации датчика изображений

Спецификации датчика изображений

Внешние размеры датчика для камеры Big Sky составляют 8,31 × 9,92 см. Выше на снимке можно увидеть его сравнение с современным датчиком для цифровой камеры. Подобное решение нельзя назвать массовым, но мелкосерийное производство датчиков и камер наверняка будет продолжено.

В разработку и подготовку к производству датчиков было вложено немало средств, и они должны окупиться. Вместе с тем возникают опасения, что отснятый в высочайшем разрешении материал потребует ещё больше цифровых хранилищ, а ведь их можно использовать для чего-то более ценного, чем рядовые, в общем-то, шоу.

 Сферический кинотеатр MSG Sphere в Лас-Вегасе. Источник изображения:

Сферический кинотеатр MSG Sphere в Лас-Вегасе. Источник изображения: Sphere Entertainment

Инфракрасные датчики сделали безопасными для здоровья — токсичные вещества в них заменили квантовыми точками

Европейские учёные изобрели и испытали технологию производства не содержащих ядовитых веществ инфракрасных датчиков. До сих пор подобные датчики содержали ртуть, фосфор, свинец и другие вещества не совместимые со здоровьем человека. Открытие безопасных материалов позволит повсеместно внедрить инфракрасное зрение, что подтолкнёт производство, робототехнику и улучшит качество жизни людей.

 Источник изображения: ICFO

Источник изображения: ICFO

Исследователи из испанского Института фотонных наук (ICFO) совместно со специалистами из дочерней компании Qurv разработали новый тип квантовых точек, чувствительных к диапазону 1–2 мкм (SWIR, short wave infrared или коротковолновый инфракрасный диапазон). Квантовые точки называют квантовыми не только за то, что они работают на принципах квантовой физики.

Квант в оригинале — это порция чего-то. Квантовые точки — это «порции» полупроводников нанометрового размера, которые действуют как отдельный элемент. В случае квантовых точек в составе датчиков изображения они поглощают свет одной длины волны и/или генерируют свет другой длины волны. Чувствительные к инфракрасному диапазону квантовые точки улавливают свет в этом диапазоне, а излучают его в видимом.

Как вариант для изготовления массива квантовых точек используется технология осаждения или синтеза из коллоидных растворов. Традиционно прекурсоры для таких растворов создавались с использованием фосфина. Исследователи заменили это токсичное вещество безопасным соединением теллурида серебра (Ag2Te). Изготовленные таким образом квантовые точки использовали для создания SWIR-фотоприёмника. Опытный фотоприёмник продемонстрировал отличные характеристики в спектральном диапазоне от 350 до 1600 нм с линейным динамическим диапазоном, превышающим 118 дБ.

Затем учёные собрали полноценную матрицу на базе традиционных CMOS-элементов. Испытания матрицы показали, что всё работает без нареканий. Так, новые инфракрасные датчики помогли увидеть кремниевую пластину на просвет (кремний прозрачен для инфракрасных лучей), а также визуализировали изображение предметов в пластиковой бутылке с мутным раствором жидкости, которые не были видны для обычного взгляда.

Безопасные для здоровья и чувствительные к инфракрасному свету квантовые точки можно использовать повсеместно, уверены учёные. От нанесения на обычные оконные стёкла до систем машинного зрения и установки в смартфоны и гарнитуры. Они помогут видеть сквозь туман, снег и ночь, анализировать состав продуктов, помогать спасателям и медикам.

Sony займётся экспансией выпуска датчиков изображений с расчётом на Китай и новые сегменты рынка

Компания Huawei Technologies до введения жёстких американских санкций была одним из крупнейших покупателей датчиков изображений Sony, которые использовались в китайских смартфонах марок Huawei и Honor. Теперь Sony сосредоточена на обслуживании заказов Apple, но параллельно она хочет охватить и китайский рынок, а заодно освоить новые рыночные ниши, ради чего расширяет своё производство датчиков изображений.

 Источник изображения: Sony

Источник изображения: Sony

Об этом сообщает Nikkei Asian Review в контексте недавно состоявшегося мероприятия Sony, посвящённого завершению строительства дополнительных производственных мощностей по выпуску датчиков изображений в Нагасаки. Летом 2022 года здесь началось расширение производственных площадей, в итоге они были увеличены на 60 %. Одновременно Sony рассчитывает расширить производство датчиков изображений на предприятии, которое соседствует со строящимся в Кумамото заводом JASM по выпуску чипов, акционером которого Sony является в партнёрстве с TSMC и Denso. По сути, финансирование совместного предприятия JASM изначально входило в планы Sony именно с прицелом на расширение производства датчиков изображений.

Имеющихся профильных мощностей Sony едва хватает для удовлетворения спроса со стороны Apple, но с появлением дополнительных линий у японской компании появится возможность привлечь заказы со стороны китайских производителей смартфонов — Xiaomi и Oppo, прежде всего. В прошлом году для китайского рынка были представлены датчики изображений Sony Lytia. Компания также разрабатывает перспективные датчики изображений для смартфонов Apple, которые улучшат качество снимков в темноте.

Присматривается Sony и к новым сферам применения датчиков изображений. В секторе логистики, например, специальные камеры могут использоваться для слежения за перемещением грузового транспорта и работой грузчиков с целью выявления «узких мест» в бизнес-процессах. Камеры также позволят автоматизировать некоторые процессы в этой сфере.

Запущен обновлённый ИИ-художник Midjourney V6 — он научился писать

Состоялся выход альфа-версии Midjourney V6 — ИИ-генератора изображений. Среди наиболее примечательных нововведений разработчики отмечают более реалистичные и детализированные картинки, а также способность модели генерировать разборчивый текст внутри изображений.

 Источник изображения: twitter.com/OrctonAI

Источник изображения: twitter.com/OrctonAI

Midjourney V6 на самом деле является «третьей моделью, обученной с нуля на наших суперкластерах ИИ», и на её разработку ушли девять месяцев, пояснил глава компании Дэвид Хольц (David Holz). Подключение к обновлённой нейросети не происходит для всех пользователей по умолчанию — в чате Discord с ботом Midjourney необходимо перейти в режим настроек командой «/settings», после чего в раскрывающемся меню сверху выбрать «V6». В качестве альтернативы можно после каждого описания изображения добавлять параметр «-v 6».

 Источник изображения: twitter.com/Boris_Jov

Источник изображения: twitter.com/Boris_Jov

Господин Хольц обратил внимание на следующие нововведения: «гораздо более точное следование описаниям и более длинные описания; улучшенная согласованность и знания модели; улучшены механизмы подсказок и правок; некоторые возможности рисования текста — он указывается в кавычках, помочь могут параметры „--style raw” и низкие значения „--stylize”; улучшены средства масштабирования с „точным” и „творческим” режимами».

 Источник изображения: twitter.com/giffboake

Источник изображения: twitter.com/giffboake

Механизм создания описаний изображений в Midjourney полностью переработан: параметры вроде «фотореализм» или «4K» больше не работают, и пользователям придётся переучиваться. Разработчики советуют быть более откровенными в том, чего хотят пользователи. Так, если требуется фотореалистичное изображение, рекомендуется использовать параметр «--style raw». Следует также выбрать нужный баланс параметра «--stylize», значение которого по умолчанию равно «100». Чем меньше значение, тем буквальнее модель воспринимает команду, а с его увеличением растёт эстетический аспект изображения.

 Источник изображения: chrisperna / ***

Источник изображения: chrisperna / Instagram

Глава Midjourney подчеркнул, что V6 выпущена в рамках альфа-тестирования — её работа может со временем кардинально меняться, и зачастую без предварительного уведомления аудитории. С полноценным выходом модели, выразили надежду разработчики, «вы все почувствуете развитие чего-то более значительного, что глубоко переплетается с силой нашего коллективного воображения». Но пока в Midjourney V6 отсутствуют некоторые функции, которые есть в V5.2, в том числе панорамирование влево и вправо, а также уменьшение масштаба, но в последующих обновлениях они добавятся.

Samsung представила датчик изображения с глобальным затвором и ToF-сенсор со встроенным процессором — оба для XR-устройств и робототехники

Компания Samsung пополнила серию своих оптических сенсоров ISOCELL Vizion двумя новыми датчиками. Первый — это ToF-сенсор ISOCELL Vizion 63D, предназначенный для измерения расстояния до объектов, второй — датчик с технологией глобального затвора ISOCELL Vizion 931.

 Источник изображений: Samsung

Источник изображений: Samsung

Samsung ISOCELL Vizion 63D представляет собой первый в отрасли датчик со встроенным ISP для измерения глубины сцены, поэтому он может выполнять вычисления самостоятельно, не полагаясь на дополнительный внешний чип. Эта особенность позволяет снизить энергопотребление системы до 40 % по сравнению с предыдущим датчиком Vizion 33D.

Samsung ISOCELL Vizion 63D — это сенсор размером 1/6,4 дюйма с размером пикселей 3,5 мкм. Он может захватывать информацию о глубине с разрешением 320 × 240 пикселей со скоростью до 60 кадров в секунду, а также поддерживает режим 640 × 480 пикселей. Это непрямой датчик ToF, поэтому он измеряет фазовый переход между излучаемым и поступающим светом, что делает расчёты более точными.

Датчик поддерживает модели как заполняющего, так и точечного освещения, в первом случае обеспечивая высокое разрешение на небольшом расстоянии 5 м, а во втором — расширяя максимальный диапазон до 10 м за счёт снижения разрешения. В основе ISOCELL Vizion 63D используется технология обратного рассеивания (BST), которая делает его более чувствительным к используемому инфракрасному излучению.

Samsung ISOCELL Vizion 63D будет использоваться в сервисных и промышленных роботах, а также в XR-устройства и системах распознавания лиц. Область XR (то есть AR и VR) также является основным полем применения для другого датчика — ISOCELL Vizion 931.

Samsung ISOCELL Vizion 931 — это датчик изображения с глобальным затвором. Обычные датчики изображения считывают данные построчно. Однако в таком случае возможны ситуации, когда быстро движущийся объект в кадре будет смещаться между рядами и изображение получится искажённым. Возникает так называемый эффект скользящего затвора или роллинг-шаттер, как показано на примере ниже.

В отличие от обычных датчиков, ISOCELL Vizion 931 с технологией глобального затвора способен мгновенно запечатлеть всю сцену, обеспечивая четкое неискажённое изображение движущихся объектов. Благодаря этой характеристике он идеально подходит для отслеживания движения в устройствах XR, игровых системах, а также сервисных, логистических роботах и дронах.

ISOCELL Vizion 931 обладает разрешением VGA (640 × 640 пикселей) и соотношением сторон 1:1. В Samsung отмечают, что его можно использовать для распознавания радужной оболочки глаз, отслеживания глаз, а также распознавания лиц и жестов в устройствах отображения, например, в тех же XR-гарнитурах. В последнем случае, вероятно, потребуется использование нескольких датчиков, поэтому Samsung реализовала возможность объединения нескольких сенсоров ISOCELL Vizion 931 в единую сеть посредством всего одного провода, что упрощает задачу по размещению проводки внутри устройств.

Компания Samsung уже приступила к поставкам образцов датчиков ISOCELL Vizion 63D и ISOCELL Vizion 931 OEM-производителям по всему миру.

Технология масштабирования изображения Apple MetalFX основана на AMD FSR

Документы компании Apple раскрыли подробности о технологии масштабирования MetalFX. Информация, содержащаяся в разделе Legal & Regulatory программных продуктов Apple, указывает, что в основе MetalFX используется технология масштабирования FidelityFX Super Resolution (FSR) компании AMD, пишет портал Notebook Check.

 Источник изображений: Apple

Источник изображений: Apple

Apple описывает MetalFX, как фреймворк, который интегрируется вместе с API Metal для повышения качества изображения из более низкого входного разрешения в более высокое выходное разрешение. При этом с задачей он справляется за меньшее время, чем GPU требуется отрисовать изображение в изначально высоком родном разрешении.

Иными словами, технология позволяет снизить уровень использования аппаратных ресурсов и одновременно повысить уровень игровой производительности. До недавнего времени предполагалось, что Apple разработала MetalFX полностью самостоятельно. Однако более внимательное знакомство с лицензионными соглашениями для программного обеспечения компании раскрыло, что в основе MetalFX используется технология AMD FSR.

В отличие от FSR-масштабирования MetalFX не имеет открытого исходного кода. Вероятно, Apple доработала технологию под свои нужды. Примечательно, что в состав MetalFX входит поддержка технологий временного и пространственного масштабирования, а также различные методы сглаживания, которые являются основными элементами технологии FSR от AMD. Также любопытно, что множество игр, которые уже вышли для устройств Apple или готовятся выйти, а это Death Stranding, No Man’s Sky, Resident Evil Village, Myst, Resident Evil 4, Assassin’s Creed Mirage, Lies of P, Baldur’s Gate 3 и The Medium, поддерживают в том числе AMD FSR.

Для разработчиков игр, которые портируют свои проекты с поддержкой AMD FSR на macOS, очевидно удобнее реализовывать в этих играх поддержку MetalFX, поскольку обе технологии очень похожи. Это также помогает объяснить, каким образом полноценная ПК-игра Resident Evil Village без проблем работает на мобильном процессоре A17 Pro смартфона iPhone 15 Pro.

Даже если Apple в итоге не платит никаких роялти за использование FidelityFX Super Resolution компании AMD, последняя всё равно может извлечь из этого пользу. Разработчики игр, зная, что FSR служит основной MetalFX, будут активнее внедрять поддержку FSR в свои проекты. Таким образом это поможет более быстрому распространению технологии AMD. С точки зрения Apple, чем больше разработчиков будут создавать игры с поддержкой FSR, тем больше шансов, что эти игры в итоге также окажутся и на её платформе.

Масштабирование FSR 3 теперь можно прикрутить к любой игре — AMD опубликовала исходный код технологии

Компания AMD сделала свою технологию интеллектуального масштабирования изображения в играх AMD FidelityFX Super Resolution 3 (FSR 3) открытой, опубликовав её исходный код под лицензией MIT. Теперь разработчики и энтузиасты могут её изучить и интегрировать в свои игры и другие разработки.

 Источник изображения: VideoCardz

Источник изображения: VideoCardz

На данный момент релиз открытого исходного кода включает поддержку технологии только для DirectX 12 и Unreal Engine 5. Поддержка Vulkan пока находится в разработке. Её планируют выпустить позднее.

 Источник изображения здесь и ниже: AMD

Источник изображения здесь и ниже: AMD

В состав FSR 3 входит компонент Frame Generation или генератор кадров. Сам по себе Frame Generation опционален. Его необязательно использовать в рамках интеграции FSR 3. Тем не менее компания опубликовала все необходимые DLL-библиотеки для его использования. И это первый случай, когда какая либо-компания публикует свою технологию генерации кадров открытым исходным кодом. Для игр, в которых уже есть поддержка FSR2, AMD рекомендует заменить FSR2 на версию 3.0.

AMD сообщает, что в версии FSR3 v3.0.3 были внесены улучшения качества и расширена поддержка мониторов с переменной частотой обновления (VRR) в логике управления кадрами.

Весь необходимый инструментарий, а также инструкции по интеграции FSR 3 можно найти на сайте GPU Open. Сам исходный код технологии также опубликован в репозитории на сайте GitHub.


window-new
Soft
Hard
Тренды 🔥
Новая статья: Упакован по максимуму: ИИ-фишки и интересные функции «Яндекс Браузера» 4 ч.
ServiceNow, Hugging Face и NVIDIA представили новое поколение ИИ-моделей StarCoder2 для генерации кода 4 ч.
Авторы How to Survive и Warhammer: Chaosbane анонсировали кооперативный «дьяблоид» о борьбе с драконами Dragonkin: The Banished 4 ч.
Симулятор выживания по «Терминатору» получил название, трейлер и дату выхода в раннем доступе — новые подробности Terminator: Survivors 6 ч.
Nacon раскрыла, когда выйдет GreedFall II: The Dying World — игра оказалась временным эксклюзивом Steam 7 ч.
Слухи: Embracer продаст Saber Interactive и Gearbox, а ремейк Star Wars: Knights of the Old Republic всё-таки жив 7 ч.
В полку российских СУБД прибыло: SoQoL вышла в релиз 7 ч.
Вышел веб-браузер Vivaldi 6.6 — расширения для веб-панелей, принудительный тёмный режим и проч. 9 ч.
Патч 2.12 для Cyberpunk 2077 принёс хорошие новости для владельцев гибридных процессоров Intel и Steam Deck 9 ч.
Meta обвинили в незаконном массовом сборе персональных данных европейских пользователей 9 ч.
Новая статья: Обзор и тест ID-Cooling Frozn A720 Black: суперкулер или нет? 3 ч.
Intel анонсировала платформу vPro для Raptor Lake-R, Meteor Lake-U и Meteor Lake-H 4 ч.
Астрономы измерили объём воды в протопланетном диске молодой звезды — её там хватит на четыре Земли 5 ч.
Apple позволит пользователям самостоятельно ремонтировать MacBook Pro и iMac с процессорами M3 5 ч.
Американские учёные предложили для борьбы с глобальным потеплением разбрасывать с самолётов лёд 5 ч.
Nextorage выпустила M.2 2280-накопитель объёмом 8 Тбайт — он основан на Phison E18 и стоит около $840 6 ч.
США заподозрили китайские электромобили в шпионской деятельности — начато расследование 8 ч.
Honda «расширила реальность», соединив ради развлечений VR-очки с самоходным креслом на колёсиках 8 ч.
Китайцы отвернулись от iPhone 15 — Apple пытается вернуть их симпатии гигантскими скидками 9 ч.
Представлен смартфон-середнячок Realme 12+ 5G с Dimensity 7050, 50-Мп камерой и 67-Вт зарядкой 9 ч.