Apple без широкой огласки приобрела стартап WaveOne по разработке ИИ-алгоритма для сжатия видео. Косвенным подтверждением сделки стало то, что сайт WaveOne был закрыт, а несколько бывших сотрудников, в том числе соучредитель компании, теперь работают в различных группах Apple по машинному обучению. В сообщении LinkedIn бывший директор WaveOne по продажам и развитию бизнеса Боб Станкош (Bob Stankosh) публично объявил о продаже.

«На прошлой неделе мы завершили продажу WaveOne компании Apple, —написал Станкош. — Мы начали свой путь в WaveOne, понимая, что видеотехнологии машинного обучения потенциально могут изменить мир. Apple увидела этот потенциал и воспользовалась возможностью, чтобы добавить его в свой портфель технологий».

WaveOne была основана в 2016 году Любомиром Бурдевом (Lubomir Bourdev) и Ореном Риппелем (Oren Rippel), которые решили добавить ИИ в процесс кодирования/декодирования видео. До основания WaveOne Бурдев был одним из основателей исследовательского подразделения Meta✴ в области ИИ и вместе с Риппелем работал в команде компьютерного зрения, отвечающей за модерацию контента, визуальный поиск и ранжирование каналов на Facebook✴.

В стандартных алгоритмах сжатие медиаконтента происходит на стороне поставщика (например, на серверах YouTube), а распаковкой занимаются устройства конечных пользователей. Главным нововведением WaveOne стал алгоритм кодирования и декодирования видео с учётом содержимого, который мог использовать ускорители ИИ, встроенные в современные смартфоны и многие ПК. Оценивая сцены и объекты в видео при помощи ИИ, технология стартапа может по существу «понимать» видеокадр, позволяя, например, увеличить приоритет для лиц за счёт других элементов в кадре для эффективного использования полосы пропускания.

Источник изображения: WaveOne

WaveOne утверждала, что её технология сжатия видео устойчива к внезапным сбоям, поэтому, когда пропускная способность канала внезапно снижается, видеопоток не прерывается, а просто становится менее детализированным. Подход WaveOne, не зависящий от аппаратного обеспечения, теоретически мог уменьшить размер видеофайлов наполовину, сохраняя высокое качество в сложных сценах. Перспективы заинтересовали инвесторов. До приобретения Apple WaveOne привлекла 9 миллионов долларов от инвесторов, включая Khosla Ventures, Vela Partners, Incubate Fund, Omega Venture Partners и Blue Ivy.

Скорее всего, Apple приобрела WaveOne ради повышения эффективности потоковой передачи данных. Даже незначительные улучшения в сжатии видео могут сократить расходы на пропускную способность и позволить таким сервисам, как Apple TV+, обеспечивать более высокое разрешение и частоту кадров в зависимости от типа транслируемого контента.

YouTube уже использует подобные технологии — в прошлом году DeepMind от Alphabet адаптировала алгоритм машинного обучения для сжатия видео, что привело к сокращению на 4 % объёма данных, которые сервис транслирует пользователям. Возможно, вскоре мы увидим аналогичные нововведения от принадлежащей Apple команды WaveOne.

NVIDIA повысила производительность встроенных в видеокарты GeForce компонентов для кодирования видео, гласят обновлённые данные на сайте компании. Ранее кодировщик NVENC обрабатывал до трёх видеопотоков, теперь же большинство видеокарт, для которых выпускаются обновления драйверов, справляются с пятью. Эти возможности всегда присутствовали в бытовых видеокартах, но были ограничены программными средствами.

В компании не уточнили, когда изменения вступили в силу, но, по данным службы Internet Wayback Machine, кодирование в три потока упоминалось на сайте NVIDIA ещё 18 марта. Поэтому для разблокировки новых возможностей видеокарт, по всей вероятности, требуется последняя версия драйверов. В некоторых случаях могут также потребоваться изменения в настройках качества видео.

Повышение производительности заметят владельцы большинства видеокарт GeForce вплоть до продуктов на архитектуре Maxwell от 2014 года — исключение составляют некоторые модели серии MX для бюджетных ноутбуков. Вероятно, на этих видеокартах отсутствуют необходимые аппаратные компоненты. В списке присутствует старая модель NVIDIA GeForce 750 Ti и большинство видеокарт серий GeForce 900, 1000, 2000, 3000 и 4000. Набор поддерживаемых кодеков и глубины цвета зависят от видеокарты.

Многие из видеокарт в списке могли бы обрабатывать и большее число потоков видео, но NVIDIA продолжает ограничивать их возможности на программном уровне — разблокированы они на профессиональных ускорителях серий Quadro и RTX для рабочих станций. Есть также программные решения от сторонних разработчиков, но последствия их использования могут быть непредсказуемыми.

Компания Microsoft сообщила о добавлении функции кодирования видео Video Encode API в DirectX 12 для Windows 11. Указанное нововведение предоставит разработчикам возможность производить кодирование и декодирование видео, используя видеодвижки с ускорением на GPU в соответствии со стандартами, установленными DirectX 12.

Источник изображения: VideoCardz

Функция Video Encode API будет включена в состав Windows 11 и DirectX 12 Agility SDK (версия 1.700.10 или более поздней).

Microsoft опубликовала список аппаратных платформ и необходимую минимальную версию драйверов для них, которые уже сейчас поддерживают кодирование видео для кодеков H264 и HEVC (H265). Поддержка осуществляться на видеокартах NVIDIA и встроенной графике процессоров Tiger Lake, Ice Lake и Alder Lake. Поддержка аппаратных платформ AMD будет добавлена во втором квартале 2022 года.

Источник изображения: Microsoft

На сегодня доступны только кодеки H264 и HEVC, поэтому ответственность за обработку остальных заголовков кодеков битового потока, таких как SEI / VUI / VPS / SPS / PPS, делегируется самим пользователям. API может использоваться вместе с функциями SetPredication и Timestamp D3D12.

Благодаря нововведениям пользователи смогут подстроить под себя отдельные аспекты процесса кодирования видео, такие как изменение режимов конфигурации управления скоростью, использование настраиваемых инструментов кодирования кодеков, настраиваемые размеры блоков кодеков и преобразований, ограничение точности вектора движения и прочее.

Более подробно о функции кодирования видео с помощью DirectX 12 можно ознакомиться в блоге компании.