Теги → sensei

Видео: Adobe показала на MAX 2019 свои экспериментальные технологии Sneaks

Adobe показала на конференции MAX в этом году немало любопытных экспериментов под общим именем Sneaks. Многие из них могут существенно упростить жизнь как обычным пользователям, так и профессионалам, которые постоянно сталкиваются с различными задачами по созданию контента. Большинство инструментов активно используют возможности Sensei — платформы машинного обучения Adobe.

Демонстрации Sneaks проходят два раза в год на мероприятиях Adobe MAX и Summit. Год назад мы тоже описывали их в отдельном материале. Многие эксперименты из недр Adobe Research со временем внедряются в конечные продукты компании. В этом году презентацию Sneaks совместно вели писатель-лауреат премии «Эмми» комик Джон Мулани (John Mulaney) и Пол Трани (Paul Trani) из Adobe Creative Cloud.

All in Sneak

При съёмке групповых фотографий, как правило, сменяются фотографы и потому на снимке всегда отсутствует один человек. Проект All in от Adobe Sensei устраняет необходимость в штативе и таймере, автоматически выявляя и добавляя пропавших людей на нескольких снимках, чтобы никто не остался вне кадра (заодно можно выбрать наиболее удачные варианты людей на обоих кадрах).

Sound Seek

Создатели контента во время монтажа или работы с музыкальным оформлением нередко ищут определённые звуки, которые встречаются в аудиозаписи несколько раз. Этот проект позволяет выбрать несколько примеров целевых звуков, чтобы машина нашла автоматически остальные.

Sweet Talk

Проект Sweet Talk позволяет анимировать персонажей, не только создавая последовательность синхронизации губ с записанной в аудиодорожке речью, но и анимируя голову персонажа целиком. Возможности почти бесконечны: анимировать можно даже рисунки, сделанные века назад, случайные зарисовки на бумаге, персонажей двухмерных мультфильмов, японские манги, стилизованные карикатуры и случайные фотографии. Иногда выходит любопытно:

Pronto

Создание приложений дополненной реальности сегодня требует продвинутых технических навыков. Проект Pronto объединяет как преимущества захвата движений вместе с видео на смартфоне, так и добавления элементов AR в конечный ролик в единую систему, которая позволяет максимально простым способом добавлять виртуальные элементы в реальную снятую сцену, привязывая их к объектам.

Image Tango

Проект Image Tango может вылиться в появление вдохновляющего дизайнерского инструмента для воплощения эскизов в жизнь. Нейросеть смешивает два рисунка: набросок и фотографию, создавая результат с формой первого и сложной текстурой второго. В один клик можно создавать вариации платьев, сумок, просто визуализировать наброски и так далее.

Fantastic Fonts

В современном цифровом мире анимированные текстовые вставки используются повсеместно. Несмотря на популярность этого приёма, процесс преобразования текста в анимированные ключевые кадры порой весьма утомителен. Проект Fantastic Fonts позволяет создавать легко и удобно самые разные эффекты, благодаря чему можно сэкономить массу времени.

Go Figure

Возможность отследить движения человека очень важна для монтажа и анимации, но это пока нелегко. Проект Go Figure, о котором мы писали недавно благодаря журналистам The Verge, позволяет точно и надёжно отслеживать ключевые точки движений человека, чтобы затем, например, использовать в анимации.

Light Right

При съёмке видео и фотографий вне студии очень сложно добиться нужного освещения, которое не подчиняется оператору. Проект Light Right как раз призван решить эту проблему: он преображает фото и видео в 3D-сцену, позволяя затем менять глобальное освещение — выглядит впечатляюще. Даже если качество результата несколько сомнительно, это весьма любопытная идея.

Awesome Audio

Качество звука в любительском видео и блогах очень часто страдает из-за непрофессионализма и дешёвого звукозаписывающего оборудования. Проект Awesome Audio призван одним нажатием кнопки превращать любительские аудиозаписи в профессионально звучащие. Технология помогает подавить шумы, улучшить разборчивость, применить эквалайзер, убрать посторонние звуки, эхо и так далее — звук обещает стать гораздо лучше:

Glowstick

Glowstick — дополнение, которое позволяет дизайнерам существенно обогатить свои векторные рисунки, применяя реалистичное освещение и тени прямо в Adobe Illustrator. Интеграция простой технологии 2D-трассировки лучей может запросто открыть новую область 2D-иллюстраций:

About Face

Инструмент Liquify с распознаванием лиц автоматически обнаруживает черты лица и помогает настроить их, чтобы улучшить портрет или сделать весёлый снимок. Проект About Face призван обнаружить подобные изменения в изображении и отменить их, вернув исходную фотографию.

Очередной эксперимент Adobe позволяет превращать движения человека на видео в анимацию

Adobe показала очередную функцию своего отдела исследований и разработки для After Effects, которая может автоматически отслеживать движения людей и применять их к анимации. Технология Body Tracker обнаруживает движения человеческого тела в исходном видео, чтобы создать 18 ключевых точек отслеживания на руках, туловище и ногах, которые затем могут быть использованы для анимируемого персонажа. Подобно тому, как Adobe Character Animator может отслеживать выражения лица, эта функция может быть быстрым способом создания 2D-анимации тела.

Технология также может создавать контурную маску вокруг тела, которую можно использовать различными способами, например, для градации цвета видео и выделения переднего плана. Её также можно использовать для простого создания контура вокруг объекта, который необходимо удалить с помощью интеллектуального заполнения, автоматически зарисовывающего выделение в зависимости от окружения. Функция также полезна для добавления движущейся графики или других объектов к отслеживаемому телу — например, если пользователь хочет анимировать сцену, в которой персонажи играют в баскетбол, можно сделать так, чтобы мяч оставался отслеженным в руках персонажа.

Эта функция использует платформу искусственного интеллекта Adobe Sensei, которая была обучена на более чем 10 000 изображениях с ручной идентификацией точек тела. Исследователь Adobe Джимей Янг (Jimei Yang) во время демонстрации отметил: «Я могу легко связать точки отслеживания с соответствующими регуляторами моего персонажа, чтобы можно было передавать ключевые кадры».

Body Tracker предназначен не для того, чтобы заменить процесс анимации, а скорее, чтобы уменьшить количество создаваемых вручную ключевых кадров и сэкономить время. Его можно рассматривать как мощный дополнительный инструмент, очень похожий на сторонние плагины вроде Duik Bassel — бесплатный инструмент анимации персонажей, который автоматически настраивает гуманоидные структуры и создаёт циклы ходьбы. «Мы надеемся, что аниматоры будут довольны результатами, которые могут стать отправной точкой и сэкономить много времени при создании конечного продукта», — отметил господин Янг.

Новая функция будет показана на ежегодной конференции Adobe по дизайну Max во время выступления Sneaks, где демонстрируются возможности экспериментальной лаборатории. Хотя не все функции Sneaks попадают в конечный продукт, некоторые превращаются в реальный и очень полезный инструмент (вроде интеллектуальной заливки Content-Aware Fill). Так что можно надеяться, что Body Tracker тоже вскоре появится в After Effects.

Adobe представила мобильную камеру Photoshop Camera с функциями ИИ

Камеры в смартфонах и социальные сети в корне изменили способ создания и обмена контентом для людей с любым уровнем навыков. И хотя индустрия очень сильно продвинулась в аппаратной области, программное обеспечение для фотосъёмки на смартфоне, как считает Adobe, оставляет желать лучшего. Компания убеждена, что у неё есть ответ в виде Photoshop Camera — бесплатного приложения камеры с функциями ИИ, которое поможет пользователям рассказать свою уникальную историю.

Adobe утверждает, что приложение переосмысливает возможности фотосъёмки на смартфоне и приносит «магию Photoshop» прямо на этап захвата кадра. В настоящее время ПО доступно только в виде предварительной версии (желающие могут зарегистрироваться на официальном сайте) для устройств на базе iOS и Android, а полноценный запуск состоится в 2020 году.

«У Adobe большая история вывода на рынок революционных решений для творческих людей. И в течение последних нескольких лет мы использовали возможности искусственного интеллекта (ИИ) для предоставления удивительных функций творческому сообществу с помощью Adobe Sensei, нашей платформы и инфраструктуры ИИ. Мы создали Photoshop Camera в качестве приложения, в основе которого лежит Sensei в рамках нашего стремления предоставить каждому мощные творческие инструменты, включая Photoshop. С помощью Photoshop Camera и Photoshop Express мы расширяем выбор инструментов для творчества, использующих волшебство Photoshop», — написали разработчики.

С помощью Photoshop Camera можно снимать, редактировать и обмениваться фотографиями и моментами — как естественно обработанными, так и творчески переосмысленными с помощью различных инструментов и эффектов. Благодаря Adobe Sensei приложение способно распознавать объекты на фотографии и предоставлять рекомендации, а также автоматически применять сложные функции в момент съёмки (например, применять оптимизации для портретов, пейзажей, автопортретов, фотографий еды и так далее), одновременно сохраняя оригинальный снимок. Как утверждают разработчики, ПО также понимает техническое содержание фотографии (то есть динамический диапазон, тональность, тип сцены, области лица) и автоматически применяет сложные преобразования на основе этого.

Также камера обещает возможность установки «линз» — предустановок и эффектов, созданных известными художниками и влиятельными людьми. Adobe называет Photoshop Camera — важным этапом расширения платформы Creative Cloud на максимально широкую аудиторию. Судя по всему, приложение после полноценного запуска будет распространяться бесплатно.

ИИ от Adobe может определять манипуляции с лицами на фотографиях

Хотя использование инструментов вроде Photoshop для цифровой обработки изображений не является чем-то новым, но благодаря прогрессу технологий задача существенно упростилась. Особенно это тревожно в связи с созданием инструментов, с помощью которых ИИ позволяет создавать поддельные фото или заставлять людей на видео реалистично произносить подменённую речь или вести себя иным измышленным образом.

В наше время борьба с поддельными новостями и информацией является очень важной задачей, особенно в связи со скоростью распространения данных. Поэтому Adobe объявила, что её специалисты Ричард Чжан (Richard Zhang) и Оливер Ван (Oliver Wang) объединили усилия с сотрудниками Калифорнийского университета в Беркли Шеном-Ю Ваном (Sheng-Yu Wang), доктором Эндрю Оуэнсом (Andrew Owens) и профессором Алексеем А. Эфросом (Alexei A. Efros) с целью создать систему на основе ИИ, способную с высокой точностью обнаруживать манипуляции с лицами на изображениях, которые были отредактированы с помощью программного обеспечения вроде Photoshop.

«Когда Adobe Photoshop был впервые выпущен в 1990 году, это был важный шаг к демократизации творчества и самовыражения. С тех пор Photoshop оказал глубокое влияние на творчество и, в более широком смысле, на нашу визуальную культуру. Хотя мы гордимся тем влиянием, которое Photoshop и другие инструменты Adobe произвели на мир, мы также признаём этические последствия нашей технологии. Доверие к тому, что мы видим, становится все более важным в мире, где редактирование изображений стало повсеместным — поддельные материалы являются серьёзной и всё более актуальной проблемой. Adobe ищет наиболее полезные и ответственные способы воплощения новых технологий в жизнь — поэтому мы постоянно исследуем применимость новых технологий вроде искусственного интеллекта (ИИ) для повышения доверия и авторитета цифровых медиа», — написала компания в своём блоге.

Проект Adobe, спонсируемый DARPA по программе MediFor, находится пока на раннем этапе. Он заключается в обучении свёрточной нейронной сети (CNN), — одной из форм глубинного обучения, — которая в рамках исследования оказалась способна распознавать лица, подвергшиеся изменениям в результате манипуляций. Исследователи создали обширный обучающий набор изображений, написав скрипт Photoshop, использующий фильтр Face Aware Liquify на тысячах случайных фотографий из Интернета.

Интересно, что созданный в Adobe метод оказался куда более совершенным, чем человеческий глаз. Если люди в среднем определяли манипуляции с лицами с помощью популярного метода Face Aware Liquify лишь в 53 % случаев (то есть чуть больше, чем случайный выбор), то алгоритм на основе ИИ — в 99 %. Это весьма достойный результат.

Adobe обещает продолжить работу в направлении создания методов определения манипуляций с изображениями, видео, звуком и документами. Цель состоит в том, чтобы не только определить манипуляции, но также указать на их характер и, по возможности, отменить изменения, внесённые в оригинал.

Исследователь Adobe Ричард Чжан прокомментировал предварительные результаты так: «Идея создания волшебной универсальной кнопки, позволяющей вернуть отредактированному изображению первозданный вид, всё ещё далека от реальности. Но мы живём в мире, где всё труднее доверять цифровой информации, которую мы потребляем, и я с нетерпением жду дальнейшего прогресса в этой области исследований».

Adobe купила голосовую платформу Sayspring

Adobe сообщила о покупке Sayspring — платформы, которая позволяет создавать голосовые приложения вроде умений Alexa и действий Google Assistant. Финансовые подробности сделки не разглашаются.

Компания не рассказала, как именно собирается использовать приобретение. Однако более года назад она запустила ИИ-сервис Sensei и с тех пор занимается добавлением голосовых команд в свои облачные приложения — например, Photoshop и Marketing Cloud. Sensei уже обзавёлся множеством функций, включая возможность отслеживать производительность голосовых приложений и служб с помощью Adobe Analytics.

«Вся команда Sayspring 17 апреля присоединится к Adobe, и мы начнём интегрировать технологию в портфолио наших продуктов, — рассказал представитель компании. — Подробности наших планов на голосовые решения будут объявлены позже, пока же клиенты Sayspring могут продолжать пользоваться платформой».

Генеральный директор Sayspring Марк Уэбстер (Mark Webster) заявил, что компания откажется от платной подписки и оставит только бесплатную. Но стать пользователем платформы можно будет только по приглашению. Также сервис вскоре пополнится новыми функциями.

Служба Voicegram, с помощью которой пользователи Sayspring могли записывать и делиться разговорами с Alexa, прекратила существование. Audio Converter, который был самостоятельным сервисом, станет частью Sayspring.

Видео: Adobe работает над улучшением автопортретов с помощью ИИ

Adobe собирается помочь пользователям редактировать свои автопортреты. Некоторые приложения тоже позволяют в реальном времени дорабатывать фотографии: в Snapchat можно, например, добавить корону, а в Meitu — улучшить портреты в реальном времени. Adobe стремится добиться куда более впечатляющих результатов посредством технологий машинного зрения и искусственного интеллекта.

Подразделение Adobe Sensei, работающее в области ИИ и машинного обучения, представило трейлер с демонстрацией новых функций, над которыми работает. Впрочем, компания не сообщила, когда эти возможности мы увидим в реальном приложении — в видео лишь говорится, что Adobe исследует, как технологии Sensei может улучить процесс съёмки и создания автопортретов.

В ролике показаны довольно любопытные функции вроде возможности небольшого изменения перспективы съёмки, коррекции широкоугольной съёмки, добавления искусственного эффекта небольшой глубины резкости. Ещё одной любопытной возможностью является перенос стиля любого изображения на автопортрет или иную фотографию. Adobe говорит, что эти функции объединяют мощь искусственного интеллекта и глубинного обучения.

Что любопытно, вся обработка происходит прямо на смартфоне: будь то редактирование эффектов, выделение маски или использование функции переноса стиля фотографии. Неизвестно, когда все эти возможности попадут в руки конечных пользователей, но наверняка подобное приложение будет весьма популярно среди любителей съёмки автопортретов.

Игровая мышь SteelSeries Sensei MLG Edition на чипе ARM

Для подавляющего большинства пользователей ПК компьютерная мышь является просто удобным средством навигации, но для игроков она может стать причиной виртуальной жизни или смерти. Осознавая это, компания SteelSeries представила весьма необычную мышь Sensei Major League Gaming Edition, которая выделяется на фоне других игровых манипуляторов.

Похоже, большая часть особенностей оригинальной мыши Sensei остались прежними: тот же 10,8-Мп сенсор, та же регистрация движений со скоростью 380 см/с, 32-битный процессор ARM, ЖК-экран и так далее. Среди нового можно упомянуть вдвое возросший с 8200 до 16 400 показатель CPI.

Как сообщает производитель, 32-битный встроенный процессор ARM имеет такую же мощь, как и оригинальный 75-МГц  Pentium, выпущенный в 1994. Его производительность позволяет проводить сложные расчёты прямо внутри мыши, без необходимости установки специальных драйверов и зависимости от нагрузки основной системы. Обсчитываемые внутри манипулятора настройки ExactTech обеспечивают точные движения мыши без задержек, необходимости фильтрации, интерполяции или экстраполяции на ПК.

Выход устройства ожидается в августе, а предварительные заказы начнутся 8 июня на мероприятии MLG Championship. Как сообщает производитель, рекомендуемая стоимость мыши составляет $100/€100.

Материалы по теме:

Источник:

SteelSeries Sensei [RAW] – новая мышь для ярых игроманов

В рамках прошедшей в Ганновере международной выставки CeBIT 2012 компания SteelSeries официально представила компьютерную мышь Sensei [RAW], ориентированную на заядлых любителей виртуальных баталий.

SteelSeries Sensei [RAW] Glossy and Rubberized Editions

Надо отметить, что от выпущенной в августе прошлого года модели под названием Sensei новинка отличается следующими особенностями:

  • Отсутствием на борту 32-разрядного ARM-процессора;
  • Отсутствием специального ЖК-дисплея для облегчения процесса кастомизации;
  • Отсутствием технологии Double CPI для расширения диапазона разрешения;
  • Наличием особого покрытия верхней части корпуса (прорезиненного для лучшего захвата даже вспотевшей ладонью либо гладкого для более приятного ощущения);
  • Возможностью изменения разрешения лазерного сенсора в пределах от 90 до 5700 CPI;
  • Наличием отключаемой белой светодиодной подсветки колеса прокрутки, индикатора чувствительности и логотипа компании на «спинке».

Купить модификации SteelSeries Sensei [RAW] Rubberized и SteelSeries Sensei [RAW] Glossy можно будет в июне текущего года по рекомендованной розничной цене 60 евро.  

Материалы по теме:

Источник:

SteelSeries Sensei: полностью настраиваемая мышь с ARM-процессором

Отличная новость для самых привередливых любителей виртуальных баталий! Компания SteelSeries объявила о выпуске новинки под названием Sensei, которая позиционируется создателями как «самая настраиваемая мышь в истории».


SteelSeries Sensei

Главной особенностью устройства является наличие у него на борту 32-разрядного ARM-процессора, который занимается расчётом ряда параметров, необходимых для быстрой и точной реакции «грызуна» на действия игрока. В частности, чип обрабатывает настройки ExactSens, ExactAccel и ExactAim, входящие в комплекс SteelSeries ExactTech. Это позволяет избежать искажений и задержек при отслеживании движений. Для облегчения процесса кастомизации предусмотрен специальный ЖК-дисплей, причём, помимо поставляемого в комплекте фирменного приложения SteelSeries Engine, устанавливать какое-либо дополнительное программное обеспечение не надо.


SteelSeries Sensei

Ещё следует отметить, что в штатном режиме разрешение лазерного сенсора можно изменять в пределах от 1 до 5700 CPI, однако благодаря технологии Double CPI при необходимости есть возможность расширения диапазона до 11400 CPI, что будет весьма кстати в конфигурациях из нескольких мониторов.

Примечательно и то, что отключаемая подсветка колеса прокрутки, индикатора чувствительности и логотипа компании имеет 16,8 млн цветов на выбор. Сама мышь заключена в удобный для правой и левой руки корпус с препятствующей скольжению металлической поверхностью, габариты которого составляют 125,5 х 68,3 х 38,7 мм. Она оснащена восемью функциональными кнопками и к компьютеру подключается при помощи кабеля в нейлоновой оплётке с позолоченным разъёмом USB.

В продажу на европейском рынке рассмотренный нами продукт поступит в следующем месяце по цене 90 евро.

Материалы по теме:

Источник:

window-new
Soft
Hard
Тренды 🔥