Популярный бесплатный конвертер HandBrake обновился до версии 1.6.0. Обновление примечательно появившейся в программе поддержкой кодека AV1. Владельцы машин с Intel Quick Sync Video (QSV) смогут кодировать видео с аппаратным ускорением.

Источник изображения: tomshardware.com

HandBrake 1.6.0 получил поддержку AV1 на всех системах, а владельцы компьютеров с Intel QSV — процессоров Intel с интегрированной графикой или видеокарт Arc — смогут использовать альтернативную версию кодировщика QSV-AV1 с аппаратным ускорением. QSV лишены процессоры с приставкой «F» и модели поколения до Skylake. Если на машине несколько графических систем Intel, технология Deep Link Hyper Encode поможет объединить их усилия. Кодировщики AV1 с аппаратным ускорением уже есть у AMD и NVIDIA, но в HandBrake они пока не попали.

Бесплатный открытый кодек AV1 имеет все шансы стать доминирующим решением для потокового видео: он предлагает эффективное сжатие, поддержку высоких разрешений и стандартов HDR. Разработанный некоммерческой организацией Alliance for Open Media формат, вероятно, вытеснит существующие решения в лице H.264/AVC и HEVC — проект поддержали Amazon, Apple, Arm, Facebook✴, Google, Intel, Microsoft, Netflix, NVIDIA и Samsung.

Помимо поддержки AV1, в новом HandBrake собраны несколько профилей 10-битного кодировщика и ряд предварительных установок для типичных задач. Новые профили также доступны для H.264 и H.265. В версии 1.6.0 обновились некоторые фильтры, ряд нововведений коснулся работы с глубиной цвета более 8 бит. Скачать HandBrake можно с официального сайта — последняя версия поддерживает Windows 10 и выше, macOS и Linux.

Вопреки ожиданиям наушники Apple AirPods Pro 2 не получили поддержку аудиокодеков без потерь (lossless). В то же время инженеры компании продолжают улучшать качество звучания наушников и не считают технологию Bluetooth барьером на этом пути. Звук AirPods Pro 2 стал лучше и будет в дальнейшем ещё улучшен даже без поддержки технологий lossless, хотя рано или поздно кодирование звука без потерь также будет реализовано в наушниках серии AirPods Pro.

После анонса наушников Apple AirPods Pro 2 в сентябре достоверно оставалось неизвестным поддерживают они lossless-кодеки или нет. Точку в этом вопросе на днях поставил инженер Apple Эсге Андерсен (Esge Andersen) в интервью изданию What Hi-Fi. По словам разработчика, Apple сосредоточилась на «других способах обеспечения высококачественного звука в AirPods без использования кодека lossless (без потерь)».

Улучшения не сказались на внешнем дизайне AirPods Pro 2, но ряд решений в конструкции вентиляционных отверстий претерпел серьёзные изменения. Вместо двух отверстий в AirPods Pro новые AirPods Pro 2 получили одно на задней стороне каждого наушника. Новая система вентиляции заметно улучшила передачу как высоких частот, так и низких. Оптимизированный воздуховод также снизил вероятность возникновения помех, которые бы искажали звук.

Вместо перехода на lossless-кодеки компания сделала акцент на надёжности работы наушников нового поколения, добившись улучшения звучания за счёт оптимизации внутреннего дизайна наушников и этот задел ещё полностью не исчерпан, что позволит ещё не раз улучшить качество звучания без перехода на кодеки без потерь информации.

Компания Apple не выказывает внимания к lossless-кодекам LDAC и aptX от Sony и другим кодекам без потерь или с минимальными потерями звука, но «она всегда открыта для изменений», если верить давшему интервью инженеру.

Компания Meta✴ представила новый звуковой кодек EnCodec, который использует методы машинного обучения для повышения степени сжатия без потери качества — в результате он способен сжимать аудио в 10 раз сильнее, чем MP3 при том же качестве. Об этом сообщает издание Ars Technica.

Источник изображений: Meta✴ AI

Кодек EnCodec может применяться как для потоковой передачи звука в режиме реального времени, например, при телефонных звонках в районах нестабильной связи, так и при кодировании для последующего сохранения в файлах.

Разработчики сообщили, что система сжатия EnCodec состоит из трёх частей. Сначала кодировщик преобразует несжатые данные в специальный формат с более низким битрейтом. Затем полученный формат сжимается до необходимого размера, но сохраняется важная информация, которая будет использована для восстановления исходного сигнала. В конечном итоге декодер в режиме реального времени преобразует сжатые данные обратно в звуковые волны с помощью нейронной сети.

В компании отмечают, что нейросеть грамотно сжимает звук и разница между звуков до и после сжатия не будет восприниматься человеческим слухом. Нейросети для сжатия звука используются давно, однако Meta✴ первой применила технологию к стереозвуку при 48 кГц.

Технология EnCodec по-прежнему находится на стадии разработки и тестирования. Разработчики не говорят о сроках её внедрения в свои сервисы и поддержке другими компаниями.

Специализирующаяся на вопросах кибербезопасности компания Check Point опубликовала доклад, в котором описала уязвимость аудиоформата ALAC (Apple Lossless Audio Codec) — из-за неё под угрозой взлома оказались две трети проданных в 2021 году Android-смартфонов. Удалённую атаку на устройство можно было произвести, отправив на него содержащий вредоносный код аудиофайл, к счастью, Google уже выпустила закрывающее эту уязвимость обновление платформы.

Источник изображения: harshahars / pixabay.com

Эксперты Check Point обнаружили уязвимость в прошлом году, и она была связана с открытой версией ALAC. Apple регулярно совершенствовала проприетарный вариант этого формата, однако его версия под open source не менялась с 2011 года. В результате решение устарело, и в нем была обнаружена уязвимость. Строго говоря, уязвимым оказался не сам формат ALAC, а его реализация в аудиодекодерах Qualcomm и MediaTek — двух крупнейших в мире производителей мобильных чипсетов, которые используются более чем на половине всех устройств. В частности, проблемы были выявлены в устройствах на базе флагманских процессоров Qualcomm Snapdragon 888 и 865.

Уязвимость позволяла потенциальному злоумышленнику производить кибератаку на устройство жертвы, отправив ему аудиофайл, заражённый эксплуатирующим уязвимость вредоносным кодом. После выполнения кода хакер получал возможность устанавливать на устройство другое вредоносное ПО или получать доступ к камере устройства. Открывался также доступ к папке с медиафайлами.

Qualcomm и MediaTek были своевременно уведомлены о проблеме и выпустили закрывающие уязвимость обновления для своего ПО. В случае с Qualcomm патч был разослан производителям устройств в октябре прошлого года. Специалистам Check Point не удалось обнаружить подтверждений того, что ошибка эксплуатировалась киберпреступниками на практике. Проблема не угрожает пользователям устройств, на которых установлено обновление безопасности Android версии «2021-12-05» или более поздней.

Qualcomm зарегистрировала уязвимость под номером CVE-2021-30351, а MediaTek — CVE-2021-0674 и CVE-2021-0675.

Компания Microsoft сообщила о добавлении функции кодирования видео Video Encode API в DirectX 12 для Windows 11. Указанное нововведение предоставит разработчикам возможность производить кодирование и декодирование видео, используя видеодвижки с ускорением на GPU в соответствии со стандартами, установленными DirectX 12.

Источник изображения: VideoCardz

Функция Video Encode API будет включена в состав Windows 11 и DirectX 12 Agility SDK (версия 1.700.10 или более поздней).

Microsoft опубликовала список аппаратных платформ и необходимую минимальную версию драйверов для них, которые уже сейчас поддерживают кодирование видео для кодеков H264 и HEVC (H265). Поддержка осуществляться на видеокартах NVIDIA и встроенной графике процессоров Tiger Lake, Ice Lake и Alder Lake. Поддержка аппаратных платформ AMD будет добавлена во втором квартале 2022 года.

Источник изображения: Microsoft

На сегодня доступны только кодеки H264 и HEVC, поэтому ответственность за обработку остальных заголовков кодеков битового потока, таких как SEI / VUI / VPS / SPS / PPS, делегируется самим пользователям. API может использоваться вместе с функциями SetPredication и Timestamp D3D12.

Благодаря нововведениям пользователи смогут подстроить под себя отдельные аспекты процесса кодирования видео, такие как изменение режимов конфигурации управления скоростью, использование настраиваемых инструментов кодирования кодеков, настраиваемые размеры блоков кодеков и преобразований, ограничение точности вектора движения и прочее.

Более подробно о функции кодирования видео с помощью DirectX 12 можно ознакомиться в блоге компании.

Стало известно о том, что вместе с обновлением Windows 10 21H2 (Sun Valley), которое станет общедоступным осенью этого года, программная платформа Microsoft получит поддержку аудиокодека AAC. Это означает, что беспроводные наушники Apple AirPods и другие устройства с поддержкой упомянутого кодека будут значительно более качественно работать при подключении к устройствам с Windows 10.

В прошлом пользователи Windows 10 часто жаловались на проблемы с подключением беспроводных наушников, работающих по Bluetooth. Также поступали жалобы на качество звука при использовании беспроводных наушников, таких как AirPods.

В настоящее время Windows 10 использует кодеки SBC и AptX для обеспечения работы беспроводных наушников и гарнитур, но зачастую их недостаточно для качественной передачи звука. Наушники AirPods поддерживают кодек AAC, поэтому сейчас при подключении их по Bluetooth к компьютеру с Windows 10 пользователи не получают звук высокого качества. Интеграция поддержки кодека AAC в Windows 10 будет полезна не только для пользователей AirPods, но и для обладателей совместимых гарнитур и наушников других производителей.

Согласно имеющимся данным, поддержка AAC в настоящее время тестируется в предварительных сборках Windows 10 (21H2) среди участников инсайдерской программы Microsoft — функция появилась в сборке 21370. Предполагается, что массовое распространение этого обновления начнётся в октябре-ноябре этого года.

Alliance for Open Media (AOM) — это консорциум, основанный Microsoft, Google, Mozilla, Cisco, Intel, Netflix и Amazon в 2015 году. Он сосредоточен на разработке медиаформатов, кодеков и технологий нового поколения в интересах общества. В 2018 году AOM объявил о публичном выпуске бесплатной спецификации AOMedia Video Codec 1.0 (AV1), и теперь он, наконец, становится стандартом на ПК.

Ещё в прошлом году Microsoft выпустила расширение AV1 Video в Microsoft Store. Это расширение позволяет проигрывателям под Windows 10 воспроизводить видео, которое было закодировано с использованием стандарта кодирования видео AV1. Теперь Microsoft объявила, что уже этой осенью поддержка аппаратного декодирования AV1 станет стандартом для новых систем Windows 10 с последними графическими ускорителями.

Речь идёт о процессорах Intel Core 11-го поколения с графикой Intel Iris Xe; видеокартах серий NVIDIA GeForce RTX 30 и AMD Radeon RX 6000. Аппаратное ускорение AV1 в Windows 10 также требует наличия версии операционной системы 1909 или более новой, установки упомянутого расширения, наличие веб-браузера или проигрывателя с поддержкой аппаратного ускорения для AV1. Также может потребоваться установка последней версии графических драйверов.

По оценкам инженеров Facebook✴, AV1 позволяет на 50 % уменьшить битрейт при одинаковом качестве по сравнению с H.264, и на 30 % — по сравнению с VP9. Причём чем выше разрешение, тем эффект сжатия лучше. Включение аппаратной поддержки AV1 позволяет получить преимущества улучшенного видеокодека, перенеся работу по декодированию с программного обеспечения на ГП. Особенно это важно для ноутбуков, так как позволяет снизить энергопотребление.

Стоит отметить, что Google уже добавила поддержку аппаратного декодера AV1 в браузер Chrome под Windows 10 и в YouTube; работа с Twitch ведётся; альфа-версия проигрывателя Kodi обзавелась поддержкой аппаратного ускорения AV1, плеер VLC от VideoLAN тоже вскоре её получит. Стоит также добавить, что продвижение AV1 идёт и на мобильном фронте: большинство последних флагманских однокристальных систем для смартфонов получили блоки аппаратного декодирования видео в этом формате. А Netflix в начале года начала переход на кодек AV1 для экономии трафика на Android. При этом консорциум AOM уже трудится над стандартом AV2.

Внедрение AV1 только начинает набирать обороты: новейшие видеокарты NVIDIA Ampere, процессоры Intel Tiger Lake получили блоки аппаратного декодирования видео в формате AV1. Однако учитывая время, которое требуется для разработки нового стандарта сжатия видео, вряд ли для многих станет удивлением, что исследования и разработка AV2 уже ведётся.

По крайней мере, на сайте отраслевого консорциума Alliance for Open Media, ответственного за создание открытого стандарта AV1, появилась информация о полноценном старте исследований и разработки видеокодека AV2. На том же ресурсе даже появилась страница AV2, хотя в настоящее время она всё ещё пуста.

Спецификации версии 1.0 бесплатного видеокодека AV1 были опубликованы в 2018 году. Внедрение AV1, как и основанного на нём формата изображений AVIF, продолжает расширяться: поддержка есть в Windows 10, браузерах, медиаплеерах, ряде потоковых служб и даже в мобильных однокристальных системах.

У AV1 есть все шансы стать достаточно распространённым стандартом сжатия видео. Он качественно превосходит H.264 и VP9 и при этом не требует лицензионных отчислений, в отличие от, например, H.265. Какие преимущества предложит AV2 — сказать пока сложно: ясно, что даже черновую версию стандарта мы увидим очень не скоро.

Разработчики кроссплатформенного медиапроигрывателя Kodi с открытым исходным кодом выпустили первую альфа-версию новой 19-й ветки под кодовым названием Matrix. Это крупное обновление, и оно ожидаемо приносит массу свежих функций. Впрочем, учитывая статус альфа-версии, на стабильную работу рассчитывать на стоит.

Kodi 19 приносит немало весьма любопытных улучшений в области проигрывания музыки и видео. Перечислим лишь некоторые из них:

• поддержка программного декодирования бесплатного передового видеокодека AOMedia AV1;
• улучшенная работа с многодисковыми наборами CD;
• поддержка дополнительных музыкальных метатегов;
• возможность визуализации музыки в стиле Матрицы;
• улучшения субтитров, включая новый темно-серый цвет и регулируемую прозрачность;
• различные улучшения оболочек;
• поддержка игровых контроллеров на iOS;
• поддержка статического режима HDR10 в версиях для Android и Windows на совместимом оборудовании;
• поддержка Dynamic Dolby Vision HDR в потоковых службах на Android;
• масса улучшений в области записи видео PVR;
• дополнения Kodi перенесены на Python 3.

И это далеко не всё — с полным списком изменений в проигрывателе можно ознакомиться на официальном сайте. Энтузиасты и желающие помочь разработчикам сообщениями об ошибках могут загрузить первую альфа-версию Kodi 19 для различных платформ с официального сайта. А остальные пользователи по-прежнему могут скачать стабильные сборки Kodi 18.

Институт телекоммуникаций им. Фраунгофера (Fraunhofer HHI) спустя несколько лет исследований и стандартизации вместе с партнёрами из отрасли, включая Apple, Ericsson, Intel, Huawei, Microsoft, Qualcomm и Sony, представил новый мировой стандарт в области кодирования видео H.266 или VVC. Спецификации стандарта занимают более 500 страниц.

VVC расшифровывается как Versatile Video Coding (универсальное кодирование видео). Название призвано отразить основное направление нового стандарта — передача данных по сети, ведь сегодня сжатые видеоданные формируют около 80 % мирового интернет-трафика.

H.266/VVC представляет собой вершину минимум четырёх поколений международных стандартов для кодирования видео. В настоящее время предыдущие стандарты H.264 (Advanced Video Coding, AVC) и H.265 (High Efficiency Video Coding, HEVC) используются более чем в 10 миллиардах конечных устройств и формируют более чем 90 % мирового объёма видеоданных.

Благодаря снижению требований к пропускной способности H.266/VVC может сделать передачу видео в мобильных сетях более эффективной. Например, предыдущий кодек H.265/HEVC требовал порядка 10 гигабайт данных для передачи 90-минутного видео в разрешении UHD. Новая технология при сопоставимом качестве требует всего 5 гигабайт данных. Поскольку H.266/VVC был разработан c прицелом на видео сверхвысокого разрешения, новый стандарт особенно полезен при потоковой передаче видео в разрешениях 4K или 8K. Кроме того, H.266/VVC идеально подходит для всех типов движущихся изображений: от 360-градусных панорам с высоким разрешением до захвата данных с экрана и передачи их по сети в реальном времени. Кодек хорошо кодирует текст и графику, умеет адаптивно менять разрешение, поддерживает 10 бит и HDR.

«Посвятив почти три года этому стандарту, мы гордимся тем, что сыграли важную роль в разработке H.266/VVC, — отметил руководитель группы систем кодирования видео в Fraunhofer HHI Бенджамин Бросс (Benjamin Bross). — За счёт значительного скачка в эффективности кодирования, предлагаемого H.266/VVC, использование видео будет расширяться во всем мире. Кроме того, бо́льшая универсальность H.266/VVC делает его использование привлекательнее в широком спектре областей, связанных с передачей и хранением видео».

Планируется создать единую и прозрачную модель лицензирования, основанную на принципе FRAND (справедливый, разумный и недискриминационный) для основных патентов, связанных с H.266/VVC. Для этого был создан форум Media Coding Industry Forum (MC-IF), в который помимо Fraunhofer Society входит более 30 компаний и организаций. Уже создаются новые чипы, необходимые для использования H.266/VVC, в том числе для смартфонов. Маловероятно, но, быть может, уже в Snapdragon 875 мы увидим аппаратную поддержку стандарта? Этой осенью Fraunhofer HHI опубликует первое ПО, поддерживающее H.266/VVC (как кодек, так и декодер).

Компании Qualcomm, Samsung Electronics и Huawei объявили о поддержке нового стандарта кодирования видео MPEG-5 Essential Video Coding (EVC). Он позволит существенно снизить размер 4K-, 8K-, VR-, AR- и HDR-контента без изменения качества. Таким образом, использовать данный контент можно будет на гораздо большем количестве устройств, чем раньше.

Компании объявили о завершении подготовки проекта нового стандарта кодирования видео MPEG-5 EVC. Готовый документ был передан на утверждение в комитет MPEG в конце апреля. Основная задача стандарта MPEG-5 EVC заключается в том, чтобы обеспечить значительно улучшенную компрессионную способность по сравнению с другими стандартами сжатия видео.

В сравнении с MPEG-4 Part 10 (также известном как H.264 или AVC), новый стандарт сжатия видео MPEG-5 EVC обеспечивает тот же уровень качества видео, но при этом предлагает на 31 % меньший размер файлов. А по сравнению с тем же форматом видеосжатия High Efficiency Video Codec (HEVC или H.265) способен обеспечивать аналогичное качество, но при сниженном на 26 % битрейте. К слову, HEVC спустя 6 лет с момента анонса популярности так и не снискал — им пользуются всего 12 % заинтересованных сторон. Остальные 82 % по-прежнему предпочитают использовать H.264, представленный ещё в 2003 году.

MPEG-5 EVC станет альтернативой стандарту видеосжатия H.266 (Versatile Video Coding), который в скором времени придёт на замену H.265. Последний часто встречается в смартфонах, поддерживающих запись видео в разрешении 4K и 8K. Недостаток H.265 и будущего H.266 заключается в том, что производителям устройств приходится (или придётся) платить роялти за возможность их использования. При этом схема лицензирования там довольно сложная, и сразу непонятно, кто кому должен заплатить. Выглядит она примерно так:

Qualcomm, Samsung Electronics и Huawei подчеркивают, что после окончания процесса лицензирования постараются распространить данный формат как можно шире, при этом не монополизируют технологию ради своих сверхприбылей. Базовая лицензия на формат будет распространяться бесплатно. За дополнительные возможности будут брать деньги. Но эти возможности опциональны и вообще необязательны. За них компании предложат всем заинтересованным лицам разумную цену.

Бесплатной альтернативой для MPEG-5 EVC является видеокодер AV1. Поддержку данного формата сжатия видео на аппаратном уровне недавно представила компания MediaTek в своих мобильных процессорах Dimensity 1000. Те же флагманские мобильные процессоры Exynos 990, Snapdragon 865 и Apple A13 Bionic аппаратной поддержки данного формата сжатия видео не имеют. Apple тем не менее присоединилась к альянсу, поэтому, возможно, мы увидим поддержку этого кодека на аппаратном уровне в новом процессоре A14 Bionic. Также данный формат сжатия поддерживает большинство новых QLED-телевизоров Samsung.

Стриминговые платформы YouTube и Netflix уже проводят тестирование видеокодера AV1. Реализацию сжатия видео можно проводить и на программном уровне, но в этом случае затрачиваются большие ресурсы батареи мобильных устройств.

Представленный в 2018 году кодек AV1 был поддержан основными игроками рынка потокового вещания. Поставщики аппаратного обеспечения подтвердили поддержку нового кодека, и конечные устройства с аппаратным декодированием AV1 должны появиться к концу года. На этом фоне активизировались патентные тролли с финансовыми требованиями.

Видеокодек AV1 с открытым исходным кодом разрабатывался с 2015 года инженерами из ряда компаний, включая Amazon, BBC, Netflix, Hulu и другими, создавшими Alliance for Open Media (AOMedia). Новая технология предназначена в первую очередь для потокового видео в сверхвысоких разрешениях (4K и выше), с расширенной цветовой палитрой и различными технологиями HDR. Среди главных особенностей кодека AOMedia указывает на 30 % более эффективный алгоритм сжатия по сравнению с существующими методами, предсказуемые требования к вычислительным возможностям аппаратного обеспечения, а также максимальную гибкость и масштабируемость.

Указанным компаниям с собственными стриминговыми сервисами эффективные кодеки нужны как воздух. Во-первых, AV1 позволяет снизить требования к пропускной способности Интернет-соединения как на уровне центров обработки данных (ЦОД), так и на уровне провайдеров и конечных пользователей. Во-вторых, использование Amazon Studios 65-мм плёнки и камер IMAX MSM 9802 (которую очень сложно арендовать) и RED Monstro для фильма Аэронафты (The Aeronauts) показывает, что компания готовится к пост-4K эре, когда текущие кодеки не будут казаться столь же эффективными.

Что касается программных декодеров то в настоящее время они поддерживаются целым рядом компаний, включая Cisco, Google, Netflix, Microsoft и Mozilla. При этом программное декодирование, как правило, всегда означает повышенное энергопотребление и весьма ограниченное использование. Поэтому интересно посмотреть на поддержку аппаратного декодирования.

Компания Chips & Media стала одной из первых, представившей аппаратный декодер AV1 в октябре прошлого года. Видеопроцессор Wave510A представляет собой лицензируемую интеллектуальную собственность (синтезируемую на уровне RTL), которую можно встроить в систему-на-кристалле (system-on-chip, SoC), использующую внутренние шины ARM AMBA 3 APB и ARM AMBA3 AXI. Данный декодер поддерживает кодек AV1 уровня 5.1, максимальный битрейт 50 Мбит/с, глубину цвета 8 или 10 разрядов, а также цветовую субдискретизацию 4:2:0. Одноядерная конфигурация Wave 510A на частоте 450 МГц может быть использована для декодирования потоков в разрешении 4K с частотой обновления кадров 60 Гц (4Kp60), тогда как двухъядерная конфигурация может быть использовано для декодирования потоков 4Kp120 или 8Kp60.

Помимо Chips & Media, лицензируемые видеопроцессоры с поддержкой AV1 предлагают и некоторые другие компании. Например, Allegro AL-D210 (декодер) и Allegro E210 (энкодер) поддерживают как AV1, так и другие популярные форматы, включая H.264, H.265 (HEVC), VP9 и JPEG. Кроме того, они поддерживают цветовую субдискретизацию 4:2:0 и 4:2:2 для потребительских и профессиональных приложений. При этом в Allegro говорят о том, что указанные решения были лицензированы поставщиками оборудования первого звена и будут использованы в конечных устройствах, которые будут выпущены до конца года.

Помимо лицензируемых видеопроцессоров, ряд разработчиков анонсировал готовые системы-на-кристалле с поддержкой AV1 для телевизоров, приставок, плееров и других подобных устройств. Среди прочих выделяются Amlogic S905X4, S908X, S805X2 c поддержкой разрешений до 8Kp60, Broadcom BCM7218X c поддержкой 4Kp60, Realtek RTD1311 (4Kp60) и RTD2893 (8Kp60). В дополнение, SoC LG α9 третьего поколения, которые используются в 8K телевизорах компании 2020 года, также поддерживают AV1. Кроме того MediaTek анонсировала мобильную систему-на-кристалле Dimensity 1000 c аппаратным декодером AV1.

Как видно, поддержка аппаратного декодирования потоков AV1 со стороны разработчиков лицензируемых видеопроцессоров и микросхем пока весьма скромна. Тем не менее, учитывая поддержку нового кодека со стороны целого ряда технологических компаний (Apple, Amazon, AMD, ARM, Broadcom, Facebook✴, Google, Hulu, Intel, IBM, Microsoft, Netflix, NVIDIA, Realtek, Sigma и многих других), стоит ожидать аппаратной поддержки AV1 в ближайшие годы.

Формально, видеокодек AV1 не требует выплаты лицензионных отчислений за использование тех, или иных патентов, принадлежащих членам Alliance for Open Media (AOMedia). Хотя процесс включения того или иного патента в AV1 требует заключения двух экспертов о том, что он не нарушает чьи-то права, всегда находятся патентные тролли, чьи права нарушаются всегда и всеми.

Так, люксембургская компания Sisvel собрала пул из 3000 патентов от десятков компаний, которые описывают технологии подобные тем, что используются в AV1 и VP9. Начиная с марта этого года, Sisvel предлагает желающим лицензировать эти патенты за ­€0,32 для устройства с дисплеем (телевизор, смартфон, ПК и другие) и за €0,11 за устройство без дисплея (микросхема, плеер, материнская плата и другое). Хотя Sisvel не планирует взимать лицензионные сборы с контента, судя по всему, программное обеспечение приравнивается к аппаратному, а значит разработчики ПО должны заплатить данной компании.

Хотя Sisvel пока не начинал судебных разбирательств с создателями аппаратного и программного обеспечения (и не начнёт до тех пор, пока технология не станет применяться массово), довольно очевидно, что такие намерения имеются. Впрочем, AOMedia планирует защищать участников экосистемы AV1, хотя и не объясняет, как именно.

Создатели AV1 рассчитывают на его повсеместное распространение на всех платформах, потому следует ожидать, что он будет поддерживаться не только крупными разработчиками микросхем, создателями программного обеспечения и поставщиками услуг, но и ведущими производителями бытовой электроники.

Тем не менее, не всё столь безоблачно для AV1. Во-первых, поскольку большинство плееров, телевизоров и приставок не поддерживают данный кодек, переход на него всей индустрии будет относительно медленным. Кроме того, стоит помнить, что для пост-8K эры разработчики готовят кодек AV2. Во-вторых, требования патентных троллей явно снизят интерес к технологии у некоторых компаний.

Ещё в 2015 году Netflix объявила, что будет сотрудничать с Amazon, Google, Intel и другими компаниями в деле разработки кодеков, не требующих лицензионных платежей, которые при этом хорошо работают на современных устройствах. Два года назад были продемонстрированы плоды совместного труда в лице кодека AV1, который обещал не только полную бесплатность, но и экономию до 30 % для потоков видео 4K HDR по сравнению с H.264 или VP9.

Thomas Trutschel / Getty Images

Теперь Netflix, наконец, начала использовать AV1 для некоторых избранных сериалов и фильмов, и только для пользователей на Android, которые включили функцию экономии трафика (Save Data). Одной из причин ограниченного использования AV1 для воспроизведения видео является отсутствие аппаратной поддержки (хотя в этом году выйдут смартфоны с таковой): это означает, что экономия трафика обернётся для пользователей снижением времени автономной работы при просмотре одних и тех же видео.

Пользователи уже могут включить AV1 вместо VP9 на видеороликах YouTube в настройках «Воспроизведение» (Playback and Performance), но служба предупреждает пользователей о том, что при использовании параметра для разрешений выше 480p (SD) требуется достаточно мощный компьютер.

Netflix заявила, что в конечном счёте планирует развернуть AV1 на всех платформах, а экономия данных на мобильных устройствах — лишь начало. Аналогичный переход на кодек VP9 и метод кодирования на основе сцен компания осуществила в 2016 году: тогда эта связка настолько улучшила ситуацию, что Netflix перекодировала всю свою библиотеку в 2018 году.

По словам Netflix, AV1 демонстрирует 20-процентное повышение эффективности сжатия по сравнению с её настройками VP9. Ничего не сообщается том, какие именно шоу используют новый кодек, но, так или иначе, это огромный скачок со времён VC1, Silverlight и видео с разрешением 720 × 480, максимальный поток которого достигал 3400 Кбит/с.

Следующим за H.264, H.265 (HEVC) и VP9 форматом сжатия видео должен стать AV1, который базируется на наработках Mozilla Daala, Cisco Thor Project, Google VP9 и VP10. Разработкой стандарта занимается ассоциация Alliance for Open Media (AOMedia), в которую входят такие гиганты, как Amazon, Google, Facebook✴, Microsoft, Netflix, Hulu, а с января — и Apple. AOMedia также присматривается к созданию собственного стандарта для фотографий на замену JPEG, GIF и PNG, который может оформиться во что-то реальное в отдалённой перспективе.

Тем не менее, пока главная и единственная задача ассоциации — продвижение видеокодека AV1 (вначале для онлайн-служб, а впоследствии — и для других задач). В рамках этой деятельности 28 марта AOMedia опубликовала первую полную версию спецификации потокового вещания и декодирования открытого и бесплатного формата AV1. Можно сказать, начало экспансии видеоформата положено: стабильность кодирования находится на хорошем уровне, а дальнейшие усилия по разработке AV1 будут направлены на оптимизацию скорости, чтобы кодек стал более практичным для реального использования.

Но как же AV1 показывает себя по сравнению x264 и VP9 в деле? Перспективно, если судить по первым всесторонним тестам Facebook✴, которая постаралась проверить как формат ведёт себя в самых разных и наиболее приближенных распространённых условиях. В целом, тестирование Facebook✴ показывает, что AV1 превосходит поставленную изначально цель обойти VP9 на 30 % по эффективности сжатия.

Тесты Facebook✴ проводила на 400 самых популярных в крупнейшей социальной сети роликах. В подавляющем большинстве речь идёт о предварительно сжатых клиентом файлах стандартной (SD) и высокой чёткости (HD), снятых, как правило, на смартфон. В реальности удалось достичь при сходном итоговом качестве уровня компрессии на 50,3 %, 46,2 % и 34 % выше по сравнению с x264 main profile, x264 high profile и libvpx-vp9, соответственно.

Но, поскольку эффективность AV1 увеличивается по мере роста разрешения видео, Facebook✴ пришла к выводу, что новый кодек, скорее всего, принесёт ещё больший выигрыш в случае сжатия UHD/4K или 8K-материалов. Действительно, если в режиме CRF (постоянное значение оценки) AV1 на 27,4–36 % обходит VP9 по уровню сжатия для файлов с вертикальным разрешением 360p, то для роликов 1080p превосходство возрастает уже до более весомых 37,9–44,8 %:

Но, разумеется, достигается такое преимущество небесплатно: новый кодек требует более длительного времени кодирования по сравнению с существующими альтернативами из-за повышенной сложности. Разумеется, пока речь идёт о первой неоптимизированной версии, но всё же вычислительные ресурсы требуются не в разы, а в сотни и даже тысячи раз большие. AV1 по времени кодирования уступает x264 main, x264 high и libvpx-vp9 в среднем соответственно в 5721,5, 5869,9 и 658,5 раз:

В аналогичных тестах для режима кодирования ABR (усреднённый битрейт) AV1 демонстрирует уровень сжатия против libvpx-vp9 уже 27–29,5 % для 360p и 33,1–35,9% для 1080p:

При этом сложность сжатия дополнительно возрастает и AV1 по сравнению x264 main, x264 high и libvpx-vp9 требует в среднем в 9226,4, 8139,2 и 667,1 раза больше времени, соответственно:

Эти результаты в целом обнадёживают специалистов Facebook✴: степень сжатия при сопоставимом со старыми кодеками качестве превосходит целевую, а производительность ещё будет оптимизироваться. Facebook✴ обещает продолжить продвижение AV1 в своих платформах. Видео в формате AV1 постепенно начнёт появляться в Интернете для популярных роликов в Facebook✴, как только поддержка AV1 появится в популярных браузерах вроде Chrome и Firefox.

Формат MP3, который с 1990-х сделал настоящий переворот в том, как люди хранят и прослушивают музыку (не говоря уже о пиратстве), официально сдаёт многолетнюю вахту. Институт интегральных микросхем имени Фраунгофера (немецкая исследовательская организация, создавшая формат) сообщил, что отзывает ряд ключевых патентов, лежащих в основе кодека. Другими словами, они не хотят поддерживать формат, потому что в 2017 году есть более совершенные методы хранения музыки.

EMPICS Entertainment

На официальном сайте института отмечается, формат MP3 сегодня по-прежнему очень популярен среди потребителей, но современные медиаслужбы, осуществляющие аудио- и видеотрансляции, обычно используют более современные и совершенные кодеки ISO-MPEG вроде семейства AAC или разрабатываемого в настоящее время MPEG-H. Последние в состоянии обеспечить больше возможностей, выше качество при существенно уменьшенном битрейте по сравнению с MP3. Набирают сегодня популярность и форматы сжатия без потери качества вроде FLAC.

Разработка MP3 началась в конце 1980-х рабочей группой института Фраунгофера под руководством Карлхайнца Бранденбурга (Karlheinz Brandenburg) на основе наработок университета Эрлангена-Нюрнберга. MP3 создавался на основе экспериментального кодека ASPEC (Adaptive Spectral Perceptual Entropy Coding). В 1994 году вышел L3Enc, первый кодировщик в формат MP3, а спустя год появился первый программный MP3-плеер — Winplay3.

MP3 — это формат с потерей качества, рассчитанный на особенности восприятия звука среднестатистическим человеком. Разумеется, он создавался для экономии дискового пространства. Сжатые файлы при размере в 10 % от оригинала обеспечивали почти неотличимое для большинства людей качество звучания. Это был огромный прорыв, однако на момент появления формата далеко не каждый настольный ПК имел достаточную мощность, чтобы обеспечить воспроизведение в хорошем стерео-качестве. В результате ряда проблем и корпоративного саботажа институт Фраунгофера в итоге позволил обычным пользователям бесплатно использовать кодек для сжатия данных с компактов-дисков и хранения их на компьютерах, пытаясь взимать патентные отчисления лишь с коммерческих компаний.

Карлхайнц Бранденбург, 2010 год

Так или иначе, но в области музыки и звуков MP3 стал тем же, что и JPEG для кодирования изображений: несмотря на то, что формат (тоже с потерей качества) давно принципиально устарел и существует немало его более совершенных аналогов, до сих пор большинство изображений хранится в JPEG, и даже профессиональные фотоаппараты и флагманские смартфоны в первостепенном порядке сохраняют снимки в этот формат — всё ради совместимости.

Но настоящий бум MP3 начался в конце 1990-х благодаря развитию Интернета и золотой эры пиратства. Музыка в этом формате годами была самым популярным контентом, которым обменивались пользователи таких пиринговых служб, как Napster и Kazaa, позволявших загружать нужные композиции буквально в один клик. Появление и распространение компактных MP3-плееров дополнительно увеличило популярность формата.

Разумеется, безудержное сетевое пиратство подстегнуло и разработку легальных служб, в которых пользователи могли бы с такой же лёгкостью приобретать музыку в цифровом формате. Сегодня среди таких сервисов доминирует Apple iTunes, который завоевал рынок на волне популярности проигрывателей iPod. Но пионерами в этой области всё же были пираты.

Почти с самого начала Apple позволила пользователям выбирать в качестве альтернативного формата более качественный AAC, который де факто сегодня стал наследником MP3. Но MP3 заслужил своё место в истории, показав рядовым пользователям настоящий (пусть и не вполне законный) потенциал обмена информацией в зарождающейся Всемирной сети.

Кстати, прекращение программы лицензирования — лишь формальный знак смерти формата. В остальном он продолжит жить прежней жизнью — все миллионы композиций и многие тысячи устройств и программных плееров будут по-прежнему воспроизводить файлы в этом формате. Более того, прекращение действий патентов означает, что организации и производители могут использовать MP3 без всяких отчислений лицензиатам (многие, впрочем, давно этого и не делали). Будем надеяться, что для производителей аудиооборудования это станет лишним стимулом окончательно перейти на более совершенные стандарты.