Существует большое разнообразие производителей устройств, разработчиков приложений и ОС, потоковых служб. Поэтому важно, чтобы ключевые игроки поддерживали универсальные форматы видео, обеспечивая удобство пользователям, уменьшение использования Сети и поддержку широкого спектра устройств.

Видеокодек AV1 от альянса Alliance for Open Media разработан для эффективной передачи видео через Интернет с минимальным влиянием на качество. Ключевое преимущество стандарта — его полная бесплатность, поэтому компаниям не нужно платить какие-либо лицензионные сборы. К сожалению, пока внедрение стандарта проходит медленно. Но распространение AV1 может ускориться в 2021 году, поскольку Google, как сообщается, начала требовать, чтобы все новые продукты Android TV поддерживали декодирование видео в формате AV1.

AV1 набирает популярность для потоковой передачи в Интернете, но пока не так много служб, предлагающих свой контент в этом стандарте. YouTube транслирует некоторые видео в AV1; Vimeo тоже предлагает некоторые ролики на канале Staff Picks в AV1; а отдельные фильмы и телешоу Netflix воспроизводятся в AV1, если включён режим экономии трафика. Google, один из самых больших сторонников AV1, недавно объявила о своих планах использовать AV1 для всего спектра своих видеоприложений и служб.

Для более широкого внедрения AV1 необходимо больше устройств, на аппаратном уровне поддерживающих стандарт. С этой целью Google требует, чтобы все новые устройства Android TV, выпущенные после 31 марта 2021 года, поддерживали декодирование видео AV1. По крайней мере, на это указывает внутренний слайд, попавший в руки журналистам XDA. Это требование распространяется на все новые телевизионные продукты, запускаемые с Android 10 или Android 11 в этом году. Слайд является частью прошлогодней презентации Google для партнёров по Android TV, поэтому актуальность сроков под вопросом.

Есть и другие доказательства того, что Google делает поддержку AV1 обязательной для всех будущих устройств Android TV. Сообщается, что компания требует поддержки декодирования видео AV1 для всех устройств 4K HDR и 8K Android TV, которые запускаются с Android 10. AndroidTV Guide указывает, что все выпущенные устройства Android TV 4K HDR поставляются с однокристальными системами с поддержкой AV1: например, MediaTek T30, T31, T32 или Realtek RTD2851M. В частности, телевизор TCL X915 8K поддерживает декодирование AV1 благодаря Realtek RTD2851M в сочетании с RTD2893, что делает его одним из первых телевизоров, поддерживающих потоковую передачу видео в формате 8K с YouTube.

FlatPanelsHD сообщил, что все телевизоры Sony 2021 года будут поддерживать декодирование видео в AV1. Sony оснащает свои телевизоры Android TV и продолжит эту практику в 2021 году. По данным FlatPanelsHD, LG и Samsung, которые используют свои собственные операционные системы, уже начали внедрять поддержку AV1 в некоторые из своих телевизоров. Другие устройства вроде смартфонов, планшетов и ПК тоже недавно получили поддержку видео AV1. Чипы для смартфонов вроде MediaTek Dimensity 1000 или Samsung Exynos 2100 поддерживают декодирование AV1, как и процессоры Intel Core 11-го поколения; видеокарты NVIDIA GeForce RTX 30 и AMD Radeon RX 6000 также поддерживают AV1. К сожалению, Qualcomm так и не реализовала поддержку AV1 даже в Snapdragon 888. Так или иначе, возможно, 2021 год станет переломным для стандарта хотя бы в Сети.

Qualcomm недавно представила свою новую однокристальную систему Snapdragon 888. К сожалению, она не будет поддерживать аппаратное декодирование видео в новейшем формате AV1, разработанном Google, Netflix и другими технологическими гигантами. То есть смартфоны нового поколения не смогут воспользоваться преимуществами более эффективной передачи видеопотока или улучшенным качеством.

Вице-президент Qualcomm по управлению продуктами Джадд Хип (Judd Heape) заявил, что компания не смогла включить технологию AV1 в новый чип из-за желания поскорее вывести на рынок новый продукт и соображений стоимости конечного изделия. По его словам, чипы Qualcomm в конечном итоге будут поддерживать AV1, но когда именно — компания не сообщает. «Поддержка AV1 не вошла в этот кристалл», — отметил он в интервью о новых фото- и видеофункциях Snapdragon 888.

Отсутствие AV1 в Snapdragon 888 является заметным ограничивающим фактором распространения новой технологии. Флагманский чип Qualcomm ляжет в основу миллионов смартфонов от Samsung, LG, Motorola, OnePlus, Oppo и Xiaomi. Интересно, что тайваньская MediaTek добавила аппаратную поддержку AV1 в свой чип Dimensity 1000, также она присутствует в последних чипах Apple.

Технология AV1 предназначена для повышения эффективности сжатия данных, особенно в высоком разрешении. YouTube, Facebook и Netflix поддерживают AV1 для онлайн-видео. Она продвигается альянсом, в состав учредителей которого также входят Microsoft, Amazon, Mozilla, Intel, ARM, AMD, NVIDIA и Cisco. Преимуществом AV1 в отличие от HEVC является отсутствие необходимости в выплате лицензий.

Alliance for Open Media (AOM) — это консорциум, основанный Microsoft, Google, Mozilla, Cisco, Intel, Netflix и Amazon в 2015 году. Он сосредоточен на разработке медиаформатов, кодеков и технологий нового поколения в интересах общества. В 2018 году AOM объявил о публичном выпуске бесплатной спецификации AOMedia Video Codec 1.0 (AV1), и теперь он, наконец, становится стандартом на ПК.

Ещё в прошлом году Microsoft выпустила расширение AV1 Video в Microsoft Store. Это расширение позволяет проигрывателям под Windows 10 воспроизводить видео, которое было закодировано с использованием стандарта кодирования видео AV1. Теперь Microsoft объявила, что уже этой осенью поддержка аппаратного декодирования AV1 станет стандартом для новых систем Windows 10 с последними графическими ускорителями.

Речь идёт о процессорах Intel Core 11-го поколения с графикой Intel Iris Xe; видеокартах серий NVIDIA GeForce RTX 30 и AMD Radeon RX 6000. Аппаратное ускорение AV1 в Windows 10 также требует наличия версии операционной системы 1909 или более новой, установки упомянутого расширения, наличие веб-браузера или проигрывателя с поддержкой аппаратного ускорения для AV1. Также может потребоваться установка последней версии графических драйверов.

По оценкам инженеров Facebook, AV1 позволяет на 50 % уменьшить битрейт при одинаковом качестве по сравнению с H.264, и на 30 % — по сравнению с VP9. Причём чем выше разрешение, тем эффект сжатия лучше. Включение аппаратной поддержки AV1 позволяет получить преимущества улучшенного видеокодека, перенеся работу по декодированию с программного обеспечения на ГП. Особенно это важно для ноутбуков, так как позволяет снизить энергопотребление.

Стоит отметить, что Google уже добавила поддержку аппаратного декодера AV1 в браузер Chrome под Windows 10 и в YouTube; работа с Twitch ведётся; альфа-версия проигрывателя Kodi обзавелась поддержкой аппаратного ускорения AV1, плеер VLC от VideoLAN тоже вскоре её получит. Стоит также добавить, что продвижение AV1 идёт и на мобильном фронте: большинство последних флагманских однокристальных систем для смартфонов получили блоки аппаратного декодирования видео в этом формате. А Netflix в начале года начала переход на кодек AV1 для экономии трафика на Android. При этом консорциум AOM уже трудится над стандартом AV2.

NVIDIA со своими видеокартами Ampere приковала слишком много внимания публики, так что AMD решила подправить ситуацию: в последнее время нарастает вал слухов и анонсов относительно видеокарт Radeon RX 6000 на базе RDNA2. Недавно было опубликовано официальное изображение ускорителя с тремя вентиляторами, потом в Сеть попали живые фото видеокарт, а теперь стало известно о поддержке AV1.

Судя по всему, грядущие графические процессоры AMD Navi 2X на основе RDNA2 будут поддерживать аппаратное декодирование AV1. Кодек AOMedia Video 1 — это открытый, не требующий лицензионных отчислений формат кодирования видео, разработанный для передачи видео по сети и отличающийся повышенной эффективностью сжатия. Это преемник VP9 от Google и конкурент H.265 (HEVC). AV1 на 30–40 % эффективнее VP9.

Некоторые регистры кодека AV1 были внесены компанией AMD в состав пакета Linux MacOS Big Sur Patch: это подтверждает, что будущая архитектура RDNA2 будет поддерживать декодирование AV1 на видеокартах серий Radeon RX и PRO для настольных ПК. И Navi 21 (под кодовым названием Sienna Cichlid), и Navi 22 (Navy Flounder) должны получить блок декодирования видео Video Core Next 3.0.

Кстати, архитектура Intel Tiger Lake Xe-LP поддерживает декодирование AV1, а серия Ampere GeForce RTX 30 от NVIDIA тоже получила полноценное ускорение AV1 за счёт встроенного аппаратного декодера. Microsoft вскоре добавит расширение AV1 Video Extension в ОС Windows 10. Google уже добавила поддержку аппаратного декодера AV1 в браузер Chrome под Windows 10 и YouTube; работа с Twitch ведётся; а плеер VLC от VideoLAN тоже вскоре получит поддержку аппаратного ускорения AV1.

Кстати, некоторые идентификаторы Navi 21 были недавно добавлены в ядро ​​Linux — об этом сообщил блогер @_rogame в Твиттере:

Известно, что AMD планирует добавить порт USB-C на некоторые модели видеокарт Big Navi. Об этом сведения просочились через Reddit — один из форумчан обнаружил новую заплатку для драйвера ядра AMDGPU с открытым исходным кодом для Linux, в котором упоминался интерфейс USB-C. В патче и исходном коде чётко упоминается имя Sienna Cichlid, которое, по слухам, является кодовым названием графического процессора Big Navi 21.

AMD официально представит серию Radeon RX 6000 уже 28 октября. Компания пообещала предоставить больше информации о видеокартах следующего поколения на базе RDNA2. AMD не подтвердила дату запуска, но ожидается, что серия RX 6000 выйдет на рынок в ноябре.

Внедрение AV1 только начинает набирать обороты: новейшие видеокарты NVIDIA Ampere, процессоры Intel Tiger Lake получили блоки аппаратного декодирования видео в формате AV1. Однако учитывая время, которое требуется для разработки нового стандарта сжатия видео, вряд ли для многих станет удивлением, что исследования и разработка AV2 уже ведётся.

По крайней мере, на сайте отраслевого консорциума Alliance for Open Media, ответственного за создание открытого стандарта AV1, появилась информация о полноценном старте исследований и разработки видеокодека AV2. На том же ресурсе даже появилась страница AV2, хотя в настоящее время она всё ещё пуста.

Спецификации версии 1.0 бесплатного видеокодека AV1 были опубликованы в 2018 году. Внедрение AV1, как и основанного на нём формата изображений AVIF, продолжает расширяться: поддержка есть в Windows 10, браузерах, медиаплеерах, ряде потоковых служб и даже в мобильных однокристальных системах.

У AV1 есть все шансы стать достаточно распространённым стандартом сжатия видео. Он качественно превосходит H.264 и VP9 и при этом не требует лицензионных отчислений, в отличие от, например, H.265. Какие преимущества предложит AV2 — сказать пока сложно: ясно, что даже черновую версию стандарта мы увидим очень не скоро.

NVIDIA на специальном мероприятии представила старшие игровые видеокарты Ampere — GeForce RTX 3090, RTX 3080 и RTX 3070. Во время трансляции не прозвучал один важный момент, который, впрочем, был подробно описан на сайте NVIDIA. Речь идёт о том, что графические процессоры RTX 30-й серии действительно имеют специальные блоки аппаратного декодирования видео в формате AV1 вплоть до 8K HDR.

Серия GeForce RTX 30, таким образом, — первое семейство графических ускорителей NVIDIA, поддерживающих на аппаратном уровне декодирование AV1 (к сожалению, не реализовано аппаратное кодирование в формат AV1). Этот бесплатный видеокодек с открытым исходным кодом превосходит H.264 и H.265, и в последнее время получает всё большее распространение в отрасли.

NVIDIA добавила специальную страницу, посвящённую декодированию AV1 на видеокартах GeForce RTX 30-й серии. Компания сообщила, что Microsoft добавляет соответствующую поддержку в Windows 10; Google уже добавила поддержку аппаратного декодера AV1 в браузер Chrome под Windows 10 и YouTube; работа с Twitch уже ведётся; а плеер VLC от VideoLAN тоже вскоре получит аппаратный декодер AV1.

Технические подробности не разглашаются, но, по-видимому, компания расширила свой интерфейс NVDEC Video Codec SDK поддержкой аппаратного декодирования AV1. Маловероятно, что NVIDIA добавит декодирование AV1 в свой API VDPAU для Linux, который уступил место NVENC / NVDEC, но в любом случае приятно видеть, что GeForce RTX 30-я серия получила возможности декодирования AV1.

Кстати, будущая графика Tiger Lake в Intel Xe-LP будет поддерживать аппаратное декодирование AV1. Будем надеяться, что видеоблок VCN 3.0 в ускорителях Navi 2 тоже сможет ускорять декодирование AV1.

Разработчики кроссплатформенного медиапроигрывателя Kodi с открытым исходным кодом выпустили первую альфа-версию новой 19-й ветки под кодовым названием Matrix. Это крупное обновление, и оно ожидаемо приносит массу свежих функций. Впрочем, учитывая статус альфа-версии, на стабильную работу рассчитывать на стоит.

Kodi 19 приносит немало весьма любопытных улучшений в области проигрывания музыки и видео. Перечислим лишь некоторые из них:

• поддержка программного декодирования бесплатного передового видеокодека AOMedia AV1;
• улучшенная работа с многодисковыми наборами CD;
• поддержка дополнительных музыкальных метатегов;
• возможность визуализации музыки в стиле Матрицы;
• улучшения субтитров, включая новый темно-серый цвет и регулируемую прозрачность;
• различные улучшения оболочек;
• поддержка игровых контроллеров на iOS;
• поддержка статического режима HDR10 в версиях для Android и Windows на совместимом оборудовании;
• поддержка Dynamic Dolby Vision HDR в потоковых службах на Android;
• масса улучшений в области записи видео PVR;
• дополнения Kodi перенесены на Python 3.

И это далеко не всё — с полным списком изменений в проигрывателе можно ознакомиться на официальном сайте. Энтузиасты и желающие помочь разработчикам сообщениями об ошибках могут загрузить первую альфа-версию Kodi 19 для различных платформ с официального сайта. А остальные пользователи по-прежнему могут скачать стабильные сборки Kodi 18.

В дополнение к новой графической архитектуре и улучшениям мультимедийного блока Intel Xe (она же Intel Gen12) сможет предложить ещё одну потенциально весьма приятную особенность. Ускорители Intel следующего поколения получат поддержку аппаратного декодирования видеопотока в формате AV1.

Ранее уже сообщалось о том, будто Xe сможет предложить поддержку декодирования AV1, но до сих пор уверенности в этом не было. Однако благодаря выходу новой версии драйвера Intel Media Driver для Linux подтверждено: графика Gen12 действительно поддерживает декодирование AV1. Это приятно видеть.

Код, отвечающий за аппаратное декодирование AV1 следующей графикой Intel, занимает примерно 33 тысячи строк. Этот декодер AV1 для процессоров Tiger Lake и Rocket Lake, а также для дискретных видеокарт Xe DG1 будет частью выпуска Intel Media Driver 20.3 для пользователей Linux.

Помимо процессоров с поддержкой аппаратного декодирования за счёт встроенной графики, видеокарты Xe могут стать первыми на рынке с такой же возможностью. Код Intel Media Driver сейчас не указывает на то, что Gen12 поддерживает кодирование в формат AV1, но, по крайней мере, имеется декодер Intel SVT-AV1.

Напомним: представленный в 2018 году полностью открытый кодек AV1 был поддержан основными игроками рынка потокового вещания. Он обеспечивает поддержку потокового видео в сверхвысоких разрешениях (4K и выше), с расширенной цветовой палитрой и различными технологиями HDR. По сравнению с VP9, по словам AOMedia, он способен обеспечить на 30 % более эффективное сжатие, а также может похвастать максимальной гибкостью и масштабируемостью. Поставщики аппаратного обеспечения подтвердили поддержку нового кодека, и конечные устройства с аппаратным декодированием AV1 должны появиться к концу текущего года.

Представленный в 2018 году кодек AV1 был поддержан основными игроками рынка потокового вещания. Поставщики аппаратного обеспечения подтвердили поддержку нового кодека, и конечные устройства с аппаратным декодированием AV1 должны появиться к концу года. На этом фоне активизировались патентные тролли с финансовыми требованиями.

Видеокодек AV1 с открытым исходным кодом разрабатывался с 2015 года инженерами из ряда компаний, включая Amazon, BBC, Netflix, Hulu и другими, создавшими Alliance for Open Media (AOMedia). Новая технология предназначена в первую очередь для потокового видео в сверхвысоких разрешениях (4K и выше), с расширенной цветовой палитрой и различными технологиями HDR. Среди главных особенностей кодека AOMedia указывает на 30 % более эффективный алгоритм сжатия по сравнению с существующими методами, предсказуемые требования к вычислительным возможностям аппаратного обеспечения, а также максимальную гибкость и масштабируемость.

Указанным компаниям с собственными стриминговыми сервисами эффективные кодеки нужны как воздух. Во-первых, AV1 позволяет снизить требования к пропускной способности Интернет-соединения как на уровне центров обработки данных (ЦОД), так и на уровне провайдеров и конечных пользователей. Во-вторых, использование Amazon Studios 65-мм плёнки и камер IMAX MSM 9802 (которую очень сложно арендовать) и RED Monstro для фильма Аэронафты (The Aeronauts) показывает, что компания готовится к пост-4K эре, когда текущие кодеки не будут казаться столь же эффективными.

Что касается программных декодеров то в настоящее время они поддерживаются целым рядом компаний, включая Cisco, Google, Netflix, Microsoft и Mozilla. При этом программное декодирование, как правило, всегда означает повышенное энергопотребление и весьма ограниченное использование. Поэтому интересно посмотреть на поддержку аппаратного декодирования.

Компания Chips & Media стала одной из первых, представившей аппаратный декодер AV1 в октябре прошлого года. Видеопроцессор Wave510A представляет собой лицензируемую интеллектуальную собственность (синтезируемую на уровне RTL), которую можно встроить в систему-на-кристалле (system-on-chip, SoC), использующую внутренние шины ARM AMBA 3 APB и ARM AMBA3 AXI. Данный декодер поддерживает кодек AV1 уровня 5.1, максимальный битрейт 50 Мбит/с, глубину цвета 8 или 10 разрядов, а также цветовую субдискретизацию 4:2:0. Одноядерная конфигурация Wave 510A на частоте 450 МГц может быть использована для декодирования потоков в разрешении 4K с частотой обновления кадров 60 Гц (4Kp60), тогда как двухъядерная конфигурация может быть использовано для декодирования потоков 4Kp120 или 8Kp60.

Помимо Chips & Media, лицензируемые видеопроцессоры с поддержкой AV1 предлагают и некоторые другие компании. Например, Allegro AL-D210 (декодер) и Allegro E210 (энкодер) поддерживают как AV1, так и другие популярные форматы, включая H.264, H.265 (HEVC), VP9 и JPEG. Кроме того, они поддерживают цветовую субдискретизацию 4:2:0 и 4:2:2 для потребительских и профессиональных приложений. При этом в Allegro говорят о том, что указанные решения были лицензированы поставщиками оборудования первого звена и будут использованы в конечных устройствах, которые будут выпущены до конца года.

Помимо лицензируемых видеопроцессоров, ряд разработчиков анонсировал готовые системы-на-кристалле с поддержкой AV1 для телевизоров, приставок, плееров и других подобных устройств. Среди прочих выделяются Amlogic S905X4, S908X, S805X2 c поддержкой разрешений до 8Kp60, Broadcom BCM7218X c поддержкой 4Kp60, Realtek RTD1311 (4Kp60) и RTD2893 (8Kp60). В дополнение, SoC LG α9 третьего поколения, которые используются в 8K телевизорах компании 2020 года, также поддерживают AV1. Кроме того MediaTek анонсировала мобильную систему-на-кристалле Dimensity 1000 c аппаратным декодером AV1.

Как видно, поддержка аппаратного декодирования потоков AV1 со стороны разработчиков лицензируемых видеопроцессоров и микросхем пока весьма скромна. Тем не менее, учитывая поддержку нового кодека со стороны целого ряда технологических компаний (Apple, Amazon, AMD, ARM, Broadcom, Facebook, Google, Hulu, Intel, IBM, Microsoft, Netflix, NVIDIA, Realtek, Sigma и многих других), стоит ожидать аппаратной поддержки AV1 в ближайшие годы.

Формально, видеокодек AV1 не требует выплаты лицензионных отчислений за использование тех, или иных патентов, принадлежащих членам Alliance for Open Media (AOMedia). Хотя процесс включения того или иного патента в AV1 требует заключения двух экспертов о том, что он не нарушает чьи-то права, всегда находятся патентные тролли, чьи права нарушаются всегда и всеми.

Так, люксембургская компания Sisvel собрала пул из 3000 патентов от десятков компаний, которые описывают технологии подобные тем, что используются в AV1 и VP9. Начиная с марта этого года, Sisvel предлагает желающим лицензировать эти патенты за ­€0,32 для устройства с дисплеем (телевизор, смартфон, ПК и другие) и за €0,11 за устройство без дисплея (микросхема, плеер, материнская плата и другое). Хотя Sisvel не планирует взимать лицензионные сборы с контента, судя по всему, программное обеспечение приравнивается к аппаратному, а значит разработчики ПО должны заплатить данной компании.

Хотя Sisvel пока не начинал судебных разбирательств с создателями аппаратного и программного обеспечения (и не начнёт до тех пор, пока технология не станет применяться массово), довольно очевидно, что такие намерения имеются. Впрочем, AOMedia планирует защищать участников экосистемы AV1, хотя и не объясняет, как именно.

Создатели AV1 рассчитывают на его повсеместное распространение на всех платформах, потому следует ожидать, что он будет поддерживаться не только крупными разработчиками микросхем, создателями программного обеспечения и поставщиками услуг, но и ведущими производителями бытовой электроники.

Тем не менее, не всё столь безоблачно для AV1. Во-первых, поскольку большинство плееров, телевизоров и приставок не поддерживают данный кодек, переход на него всей индустрии будет относительно медленным. Кроме того, стоит помнить, что для пост-8K эры разработчики готовят кодек AV2. Во-вторых, требования патентных троллей явно снизят интерес к технологии у некоторых компаний.

Ещё в 2015 году Netflix объявила, что будет сотрудничать с Amazon, Google, Intel и другими компаниями в деле разработки кодеков, не требующих лицензионных платежей, которые при этом хорошо работают на современных устройствах. Два года назад были продемонстрированы плоды совместного труда в лице кодека AV1, который обещал не только полную бесплатность, но и экономию до 30 % для потоков видео 4K HDR по сравнению с H.264 или VP9.

Thomas Trutschel / Getty Images

Теперь Netflix, наконец, начала использовать AV1 для некоторых избранных сериалов и фильмов, и только для пользователей на Android, которые включили функцию экономии трафика (Save Data). Одной из причин ограниченного использования AV1 для воспроизведения видео является отсутствие аппаратной поддержки (хотя в этом году выйдут смартфоны с таковой): это означает, что экономия трафика обернётся для пользователей снижением времени автономной работы при просмотре одних и тех же видео.

Пользователи уже могут включить AV1 вместо VP9 на видеороликах YouTube в настройках «Воспроизведение» (Playback and Performance), но служба предупреждает пользователей о том, что при использовании параметра для разрешений выше 480p (SD) требуется достаточно мощный компьютер.

Netflix заявила, что в конечном счёте планирует развернуть AV1 на всех платформах, а экономия данных на мобильных устройствах — лишь начало. Аналогичный переход на кодек VP9 и метод кодирования на основе сцен компания осуществила в 2016 году: тогда эта связка настолько улучшила ситуацию, что Netflix перекодировала всю свою библиотеку в 2018 году.

По словам Netflix, AV1 демонстрирует 20-процентное повышение эффективности сжатия по сравнению с её настройками VP9. Ничего не сообщается том, какие именно шоу используют новый кодек, но, так или иначе, это огромный скачок со времён  VC1, Silverlight и видео с разрешением 720 × 480, максимальный поток которого достигал 3400 Кбит/с.

Компания Microsoft намерена выпустить сборку Windows 10 под номером 19H1 весной 2019 года. При этом туда внедряют как крупные нововведения, так и мелкие, но столь же важные. Одной из грядущих возможностей станет поддержка изображений формата AVIF.

mspoweruser.com

Этот стандарт изображений основан на новом видеоформате под названием AV1, который разработан Альянсом Открытых Медиа (AOMedia). До сих пор «десятка» не поддерживала формат AVIF ни в «Проводнике», ни в Microsoft Paint. Однако в 19H1, как ожидается, он будет внедрён во все упомянутые выше программы.

Как ожидается, «Проводник» будет отображать эскизы AVIF, метаданные Exif и позволит просматривать изображения в этом формате. Также обещана нативная поддержка видеоформата AV1. На текущий момент эта возможность доступна только в Windows 10 19H1 сборки 18305 или более поздней, которую можно получить в рамках программы Insider Preview. При этом отметим, что недавно VLC и Mozilla также признали новый формат. Соответствующая функциональность уже есть в ночных сборках браузера Mozilla и в медиаплеере VLC, начиная с третьей версии.

wikipedia.org

Сам формат AV1 разрабатывался как универсальный стандарт для проигрывания видео в потоковых системах и с помощью аппаратных решений. AVIF же представляет собой формат сжатия изображений с потерями качества. Как ожидается, видеоформат должен заменить VP9 и другие форматы. AV1 уже используется на YouTube для кодирования самых рейтинговых видео, также его применяет Netflix.

Что касается AVIF, то он, по сути, должен заменить стандарт WebP, продвигаемый Google. Учитывая, что формат изображений поддерживает HDR, WCG и SDR, а также анимацию и прозрачность (альфа-канал), он может стать «убийцей» сразу JPG, PNG и GIF. Не исключено, что в будущем так и будет, поскольку AV1 и AVIF обещают, кроме прочего, аппаратную поддержку, однако это будет не слишком скоро.

Следующим за H.264, H.265 (HEVC) и VP9 форматом сжатия видео должен стать AV1, который базируется на наработках Mozilla Daala, Cisco Thor Project, Google VP9 и VP10. Разработкой стандарта занимается ассоциация Alliance for Open Media (AOMedia), в которую входят такие гиганты, как Amazon, Google, Facebook, Microsoft, Netflix, Hulu, а с января — и Apple. AOMedia также присматривается к созданию собственного стандарта для фотографий на замену JPEG, GIF и PNG, который может оформиться во что-то реальное в отдалённой перспективе.

Тем не менее, пока главная и единственная задача ассоциации — продвижение видеокодека AV1 (вначале для онлайн-служб, а впоследствии — и для других задач). В рамках этой деятельности 28 марта AOMedia опубликовала первую полную версию спецификации потокового вещания и декодирования открытого и бесплатного формата AV1. Можно сказать, начало экспансии видеоформата положено: стабильность кодирования находится на хорошем уровне, а дальнейшие усилия по разработке AV1 будут направлены на оптимизацию скорости, чтобы кодек стал более практичным для реального использования.

Но как же AV1 показывает себя по сравнению x264 и VP9 в деле? Перспективно, если судить по первым всесторонним тестам Facebook, которая постаралась проверить как формат ведёт себя в самых разных и наиболее приближенных распространённых условиях. В целом, тестирование Facebook показывает, что AV1 превосходит поставленную изначально цель обойти VP9 на 30 % по эффективности сжатия.

Тесты Facebook проводила на 400 самых популярных в крупнейшей социальной сети роликах. В подавляющем большинстве речь идёт о предварительно сжатых клиентом файлах стандартной (SD) и высокой чёткости (HD), снятых, как правило, на смартфон. В реальности удалось достичь при сходном итоговом качестве уровня компрессии на 50,3 %, 46,2 % и 34 % выше по сравнению с x264 main profile, x264 high profile и libvpx-vp9, соответственно.

Но, поскольку эффективность AV1 увеличивается по мере роста разрешения видео, Facebook пришла к выводу, что новый кодек, скорее всего, принесёт ещё больший выигрыш в случае сжатия UHD/4K или 8K-материалов. Действительно, если в режиме CRF (постоянное значение оценки) AV1 на 27,4–36 % обходит VP9 по уровню сжатия для файлов с вертикальным разрешением 360p, то для роликов 1080p превосходство возрастает уже до более весомых 37,9–44,8 %:

Но, разумеется, достигается такое преимущество небесплатно: новый кодек требует более длительного времени кодирования по сравнению с существующими альтернативами из-за повышенной сложности. Разумеется, пока речь идёт о первой неоптимизированной версии, но всё же вычислительные ресурсы требуются не в разы, а в сотни и даже тысячи раз большие. AV1 по времени кодирования уступает x264 main, x264 high и libvpx-vp9 в среднем соответственно в 5721,5, 5869,9 и 658,5 раз:

В аналогичных тестах для режима кодирования ABR (усреднённый битрейт) AV1 демонстрирует уровень сжатия против libvpx-vp9 уже 27–29,5 % для 360p и 33,1–35,9% для 1080p:

При этом сложность сжатия дополнительно возрастает и AV1 по сравнению x264 main, x264 high и libvpx-vp9 требует в среднем в 9226,4, 8139,2 и 667,1 раза больше времени, соответственно:

Эти результаты в целом обнадёживают специалистов Facebook: степень сжатия при сопоставимом со старыми кодеками качестве превосходит целевую, а производительность ещё будет оптимизироваться. Facebook обещает продолжить продвижение AV1 в своих платформах. Видео в формате AV1 постепенно начнёт появляться в Интернете для популярных роликов в Facebook, как только поддержка AV1 появится в популярных браузерах вроде Chrome и Firefox.

На прошлой неделе Alliance for Open Media (AOMedia) опубликовал первую полную версию спецификации битстриминга и декодирования видеокодека AV1. Выпуск стандарта AV1 версии 1.0 позволит членам AOMedia и другим заинтересованным сторонам добавить его поддержку в свои продукты или услуги. Так, разработчики микросхем смогут завершить разработку энергоэффективных аппаратных декодеров потоков AV1, что станет критически важной вехой в развитии стандарта.  По крайней мере первоначально AV1 будет использоваться в основном для потоковой передачи видео и пользовательского контента в качестве альтернативы HEVC (соответственно, без споров о лицензионных отчислениях), но впоследствии внедрение AV1 может расшириться и на другие приложения.

Логотип AV1

Видеокодек AV1 с открытым исходным кодом разрабатывался с 2015 года специалистами из целого ряда компаний. Технология предназначена в первую очередь для потокового видео в сверхвысоких разрешениях (4K и выше), с расширенной цветовой палитрой и различными технологиями HDR. Среди ключевых особенностей нового кодека AOMedia указывает на 30 % более эффективный алгоритм сжатия по сравнению с существующими методами, предсказуемые требования к вычислительным возможностям аппаратного обеспечения, а также максимальную гибкость и масштабируемость. Создатели AV1 рассчитывают на его повсеместную распространённость на всех платформах, потому следует ожидать, что он будет поддерживаться не только крупными разработчиками микросхем, создателями программного обеспечения и поставщиками услуг, но и ведущими производителями бытовой электроники.

Ключевые преимущества AV1

AOMedia не раскрывает ключевые технологические особенности видеокодека AV1 в сколько-то компактной форме, при этом разбор 600-страничной спецификации битстриминга и декодирования для разработчиков не обязательно даёт хорошее представление о технологии в целом. В этой связи в рамках новостной заметки придётся ограничить технические подробности об AV1 до необходимого минимума.

Альянс AOMedia

В общем виде AV1 концептуально похож на существующие кодеки, такие как H.264 или H.265. AV1 использует те же базовые элементы, что и многие кодеки, которые использовались последние 10 или более лет: блочное кодирование, динамические размеры блоков (до 128 × 128 пикселей в случае AV1), компенсация движения, внутрикадровое сжатие, преобразование с прямым целым и так далее. Между тем, поскольку мы говорим об алгоритмах сжатия, более эффективных, чем существующие, очевидно, что AV1 имеет ряд преимуществ перед современными кодеками. Инновации в области алгоритмов сжатия и эффективных методов декодирования пригодятся как для массового распространения видео в разрешении 4K, так и для начала распространения видео в разрешении 8K.

Ключевые возможности AV1

Видеокодек AV1 поддерживает 8-, 10- и 12-разрядные форматы представления и обработки данных, все три распространённых типа цветовой субдискретизации (4:2:0, 4:2:2, 4:4:4) и практически все основные цветовые палитры и форматы (sRGB, BT.2020 (как 10-разрядный, так и 12-разрядный), BT.2100 и другие). Рекомендации BT.2020 и BT.2100 включают поддержку как популярного разрешения 3840 × 2160, так и пока экзотического 7680 × 4320 (8K). Кроме того, они же регламентируют применение различных технологий высокого динамического охвата (вроде HDR10). Стоит отметить, что AV1 1.0 не поддерживает спецификацию SMPTE ST 2094-40 для передачи динамических метаданных, которая используется HDR10+. Поскольку AV1 — это кодек с открытым исходным кодом и не предполагающий лицензионных отчислений (это не значит, что процесс лицензирования отменён вообще), он также не предполагает поддержки фирменной технологии Dolby Vision. Иными словами, для поддержки HDR с динамическими метаданными AOMedia придётся создавать собственную технологию. Таким образом, AV1 технически готов для мониторов и телевизоров следующего поколения, но при этом кодеку потребуются некоторые дополнительные стандарты для реализации специфических возможностей.

Что касается дисплеев и ТВ, необходимо отметить, что AV1 совместим с существующими технологиями подключения приёмников к источнику сигнала, такими как DisplayPort, eDP, HDMI и другими. При этом технология также совместима с современными методами защиты контента.

Ожидаемое расширение поддержки AV1 со стороны различных игроков на рынке

Публикация спецификации AV1 версии 1.0 — это лишь первый шаг к массовому внедрению технологии. AOMedia ожидает, что инструменты для создания контента и браузеры для ПК начнут поддерживать AV1 в конце этого года. Чтобы обеспечить это, AOMedia выпустила неоптимизированные/экспериментальные программные декодер и энкодер AV1 для применения в различных программах. В 2019 году консорциум ожидает появление первых микросхем с аппаратной поддержкой AV1, а также более широкой поддержки со стороны ПО. Повсеместное распространение AV1 начнётся в 2020 году, когда появится обширный набор программ и микросхем, поддерживающих технологию.

Экосистема AV1

Говоря о распространении и поддержке AV1, стоит упомянуть, что список членов AOMedia включает в себя множество влиятельных компаний, таких как Apple, Amazon, AMD, Arm, Broadcom, Facebook, Google, Hulu, Intel, IBM, Microsoft, Netflix, NVIDIA, Realtek, Sigma и многих других. Эти компании либо сами контролируют огромные экосистемы, либо разрабатывают микросхемы, которые используются сотнями миллионов пользователей по всему миру. Их поддержка обеспечит широкое распространение AV1 в следующем десятилетии. В то же время AOMedia уже начала исследования и разработку технологий для AV2, который должен стать наследником AV1 через несколько лет.

Экосистема AV1

В прошлом году Apple начала продвигать новый собственный формат фотографий, благодаря которому файлы того же качества могут занимать вдвое меньше, чем стандартный старичок-JPEG. Но Apple — не единственный желающий сделать в этой области прорыв: Google, Mozilla и другие компании под общим названием Alliance for Open Media (альянс за открытые медиастандарты) работает над конкурирующей технологией. По словам ведущего разработчика Mozilla Тима Терриберри (Tim Terriberry), вовлечённого в этот проект, первые тесты показывают, что сжатые их алгоритмом изображения занимают на 15 % меньше места по сравнению с фотоформатом Apple HEIC. Но размер — это ещё не всё.

Проект находится на ранней стадии разработки — у него даже нет названия, а тем более определённого будущего. Но у него есть большой список союзников, близость к веб и современные функции, которые могут сделать его лучшим претендентом на вытеснение JPEG, созданного в далёком по современным меркам 1991 году. «Кажется совершенно глупо, что мы всё ещё полагаемся на технологию сжатия 20-летней давности, — считает руководитель сайта для обмена и продажи фотографий 500px Келли Томпсон (Kelly Thompson). — Оборудование, которое мы используем для захвата и отображения изображений, теперь превышает верхние пределы JPEG.

JPEG не только увеличивает размеры конечных файлов — к его недостаткам также можно отнести отсутствие поддержки более широкого диапазона цветов, плохую передачу ярких и тёмных тонов, артефакты сжатия блоками, плохую поддержку сжатия резких контуров или рисунков. Вдобавок JPEG не поддерживает анимацию на основе нескольких кадров, панорамы, каналы прозрачности, «живые фото», данные о глубине сцены и многие другие вещи, которые необходимы современным форматам фотографий.

Эти три изображения сжаты в 28 Кбайт тремя способами: JPEG, HEVC (используется в Apple HEIC) и экспериментальным AV1

Формат фотографий Apple, получивший название HEIC, появился в прошлом году в операционных системах iOS для iPhone и iPad, а также в macOS для настольных компьютеров. По сути это ответвление технологии сжатия видеоизображений HEVC (h.265), разработанной отраслевым консорциумом MPEG с многолетним опытом в сжатии видео.

HEIC использует технологию сжатия HEVC. Фотография HEIC занимает примерно вдвое меньше места по сравнению с JPEG аналогичного качества, и она отвечает на многие требования для фотографий следующего поколения. Например, умеет записывать данные 3D-сцены в новых iPhone, благодаря чему приложения могут создавать специальные эффекты вроде замены фона или изменения освещения.

Более крупный кусок приведённого воздушного шара показывает нагляднее проблемы JPEG. Технология HEIC, в центре, тоже оказывается хуже AV1

Apple представила HEIC публике на своей конференции разработчиков 2017 года. Но многие до сих пор не знают о нём: Apple, понимая, что большинство современных программных и аппаратных устройств не могут отображать HEIC, обычно преобразует фотографии в JPEG, когда они отправляются на Facebook или по электронной почте.

На пути распространения HEIC, впрочем, стоит тот факт, что разработчики ПО, чипов и смартфонов должны пройти процесс лицензирования. Это не просто сложно и дорого. Это также означает, что у HEIC возникнут проблемы в Интернете: патентные барьеры противоречат открытому характеру всемирной Сети.

Проблем лицензирования не будет у формата от Alliance for Open Media. Организация прежде всего стремится создать новую открытую от лицензионных сборов технологию сжатия видео с предварительным названием AV1. На борту — такие тяжеловесы, как Google, Microsoft, Mozilla и даже сама Apple. В альянс также входят крупные компании в области потокового видео: Netflix, Amazon, Hulu, Facebook и YouTube. А благодаря поддержке разработчиков чипов Intel, NVIDIA и ARM формат AV1 должен получить и аппаратное ускорение, которое имеет решающее значение для распространения видео на ноутбуках и смартфонах.

Видео пока остаётся приоритетом альянса, и не ясно, какие участники захотят поддержать фотоформат на основе AV1 за пределами стадии экспериментов. Тем не менее, руководитель стратегии Chrome Мэтт Фрост (Matt Frost) утверждает, что есть определённый энтузиазм: «Это не то, с чем возятся исключительно Google и Mozilla. Это ответ на запрос от нескольких членов альянса».

Фотоформат на основе AV1 должен стать преемником WebP, который Google представила для ускорения работы веб-сайтов с изображениями в качестве более легковесной альтернативы JPEG и PNG. WebP используется на eBay, Alibaba, Yahoo и других крупных сайтах, но Google не смогла убедить сторонних разработчиков браузеров. Быть может, это будет преодолено в AV1. Уже упоминавшийся Келли Томпсон отмечает: «Мы хотели бы, чтобы новый формат широко поддерживался. Для фотосайта вроде 500px расходы на хранение и пропускную способность являются астрономическими».

Те же участки, обработанные для выделения трудноразличимых недостатков: Apple HEIC (по центру) существенно превосходит JPEG, а AV1 в текущем виде показывает более чистые линии, но, быть может, более сильную потерю текстурных деталей

Превзойти JPEG мало: базовые AV1-фотографии должны предложить:

• эффективное сжатие резких изображений вроде логотипов, текста и диаграмм, где у JPEG большие трудности;
• поддержку сжатия без потери качества (чтобы заменить иные форматы вроде PNG);
• поддержку высокого динамического диапазона для лучшего отображения ярких и тёмных тонов;
• поддержку каналов прозрачности (для замены того же формата PNG в веб);
• поддержку анимации для вытеснения старомодных 256-цветовых GIF.

Живые фотографии (файлы, включающие связанные отрывки видео) тоже желательны. «Природа создания изображений сегодня меняется и требует поддержки движений, — отмечает руководитель альянса Гейб Фрост (Gabe Frost) из Microsoft. — Alliance for Open Media активно прислушивается к мнению индустрии — по этим же причинам мы создали AV1 в качестве видеоформата». Впрочем, он также добавил, что спешить никто не собирается: «AOMedia сейчас полностью сконцентрирована на завершении разработки видеокодека AV1. В отношении формата для неподвижных изображений Альянсу нечего сообщить».

Формат сжатия изображений нельзя просто взять из AV1. По словам Джая Кришнана (Jai Krishnan) из Google, видеоформат рассчитан на эффективное сжатие потока из 30 и более изображений в секунду. Нужны оптимизации, рассчитанные на фотографии, в том числе — эффективный вывод части огромной картинки. При этом сильный отход от видеоформата нарушит принцип аппаратного ускорения (если производители не добавят поддержку дополнительных функций для изображений).

Одно можно сказать наверняка: JPEG будет с нами ещё много лет, и поколебать его могущество будет непросто. Очень многие бросали вызов и уже сложили головы в битве с этим королём сжатия фотографий.

Apple присоединилась к Alliance for Open Media — ассоциации технологических компаний, работающих над новым форматом сжатия онлайн-видео. В группу входят такие гиганты, как Amazon, Google, Facebook и Microsoft.

sketchappsources.com

Ассоциация была сформирована в 2015 году. Результатом её работы стала технология сжатия нового поколения AV1, упрощающая просмотр и загрузку видео из Сети на всех типах устройств. Цель Alliance for Open Media — создать новый стандарт, вокруг которого могла бы сплотиться вся интернет-индустрия. Переход с доминирующего кодека H.264 на AV1 поможет избежать выплат, которые зачастую являются обязательным для использования H.264 на любом устройстве и в любом плеере.

До недавнего времени Apple активно продвигала H.265, прямого продолжателя H.264. Теперь же она заключила соглашение с Alliance for Open Media, благодаря чему у AV1 появилось гораздо больше шансов стать одним из главных стандартов воспроизведения онлайн-видео.

webrtcglossary.com

Стоит отметить, что AV1 был создан не сразу — он является комбинацией технологий, разработанных членами ассоциации. Стандарт включает наработки инициативы Mozilla под названием Daala, Thor Project от Cisco, а также популярных кодеков VP9 и VP10 от Google. Netflix и Hulu тоже присоединились к альянсу и планируют внедрить AV1 в свои сервисы.

Над технологией по-прежнему ведётся работа — первая версия должна быть готова в ближайшие недели. В ноябре Mozilla заявила, что кодек снижает размер файлов на 25–35 % по сравнению с H.265 и VP9. Впрочем, есть у технологии и недостатки — сжатие требует больше времени, памяти и энергозатрат.