ARM представила сразу четыре новых продукта. Это процессоры для машинного обучения Ethos, дополняющие существующую модель N77 более простыми N57 и N37; первый графический ускоритель среднего класса на совершенно новой архитектуре Valhall в лице нового Mali-G57; дисплейный процессор среднего уровня в лице Mali-D37.

Нейропроцессоры Ethos

Впервые ARM рассказала о своих новых нейропроцессорах (NPU) в начале прошлого года под именем Project Trillium. В этом году на конференции TechCon компания официально представила эти продукты уже под рыночной маркой Ethos, а N77 стал первым представителем семейства.

Теперь компания сообщила, что Ethos N77 может оснащаться объёмом памяти SRAM от 1 до 4 Мбайт, хотя в прошлом году сообщалось, что максимальный объём составит лишь 1 Мбайт. ARM пояснила, что производителям на практике для эффективной работы алгоритмов машинного обучения потребовалась дополнительная память. Флагманский NPU обеспечивает максимальную теоретическую производительность порядка 4 TOPS при тактовой частоте в 1 ГГц, а эффективность при этом составляет 5 TOPS/Вт.

Все представители семейства Ethos по сути собираются из одних и тех же строительных блоков. Все NPU используют один и тот же вычислительный движок MAC (MCE, MAC computation engine) и движки программируемого уровня (PLE, programmable layer engine). MCE состоит из 128 блоков MAC и работает в связке с PLE. Блоки MCE, PLE и память SRAM формируют блок (CE, computation engine) — количество таких блоков и есть главное отличие между NPU. N77, N57 и N37 включают соответственно 16, 8 и 4 блока CE.

Варианты Ethos среднего и начального уровня достигнут рынка гораздо быстрее, чем другие новые разработки ARM: компания объясняет это тем, что спрос на технологии машинного обучения в недорогих чипах со строгими ограничениями площади кристалла необычайно высок. Появление таких блоков NPU в однокристальных системах начального уровня позволяет реализовать в недорогих аппаратах функции вроде продвинутого распознавания лиц.

Новые NPU уже лицензированы и используются клиентами ARM в своих разработках.

Mali-G57 — первый ГП среднего уровня на базе Valhall

Ранее в этом году ARM представила новую графическую архитектуру Valhall в лице флагманского ускорителя Mali-G77, которую мы должны увидеть в однокристальных системах 2020 года. Новая архитектура ГП — это значительный уход от предыдущих ускорителей семейства Bifrost: был полностью переработан графический конвейер и вычислительная микроархитектура.

Теперь ARM представила ускоритель Mali-G57 — версию Valhall для чипов среднего класса. В настоящее время компания не делится особыми подробностями о том, что упрощено в G57, но решение будет очень похоже на урезанный и уменьшенный в размерах ГП Mali-G77, по аналогии с изменениями в G52 по сравнению с G72.

Компания обещает, что Mali-G57 с тремя исполнительными движками на ядро (3EE) по сравнению с G52 в той же конфигурации сможет показать на 30 % более высокую энергоэффективность и на 30 % более эффективное использование площади кристалла (благодаря росту производительности).

Ну и, наконец, ARM выпустила на рынок новый дисплейный процессор среднего класса в форме Mali-D37. Это решение основано на архитектуре Komeda, которая впервые была представлена ​​в Mali-D71 и его следующей версии — объявленном в этом году DPU Mali-D77. Новый дисплейный процессор D37 нацелен на разрешения экранов 2K и Full HD и обещает занять менее 1 мм² площади кристалла при производстве с соблюдением старых 16-нм норм.

В последние пару лет продвижение виртуальной реальности несколько забуксовало из-за сочетания дорогого оборудования, невысокой производительности, отсутствия достаточного количества контента и прочих сложностей. В настоящее время отрасль застряла в сценарии «яйцо или курица», когда нехватка пользователей сдерживает инвестиции в разработку высококачественных игр и других цифровых материалов. Для выхода из тупика нужны более мощные и доступные аппаратные платформы VR.

ARM нацелилась решить некоторые существующие технические проблемы VR, представив свой первый дисплейный процессор, разработанный специально для VR: Mali-D77. Этот блок призван взять на себя некоторые задачи обработки VR, которые сейчас лежат на графическом процессоре, высвободив ресурсы последнего для повышения частоты кадров, а также должен снизить эффект морской болезни, наблюдаемый у некоторых пользователей VR-гарнитур.

В значительной степени Mali-D77 развивает блок Mali-D71 2017 года. Он имеет тот же декодер сжатия, поддержку HDR и блоки управления цветом. Тем не менее, новый дизайн был оптимизирован для разрешений 3K с частотой до 120 кадров/с и разрешений 4K с частотой до 90 кадров/с.

Основные изменения касаются интеграции двух совершенно новых аппаратных ускорителей для VR-задач. Mali-D77 позволяет проводить аппаратную коррекцию искажений объектива и поддерживает технологию Asynchronous Timewarp, вместо того чтобы запускать эти алгоритмы на графическом процессоре. Это позволяет высвободить около 15 % ресурсов ГП. Вдобавок снижаются требования к полосе пропускания на 40 % и уменьшается потребляемая мощность на 180 мВт.

Алгоритм коррекции линз требуется в VR-гарнитурах, чтобы компенсировать кривизну объективов шлемов. Бочкообразные искажения применяются к каждому визуализированному кадру. Традиционно это делается средствами GPU. Кроме того, Mali-D77 выполняет коррекцию хроматических аберраций с использованием аналогичного метода обратного искажения. Благодаря этому на углах кадра не будет наблюдаться расхождение цветов.

Технология Asynchronous Timewarp немного более сложна. ARM использует процессор дисплея, чтобы вращать, наклонять и деформировать изображение с целью компенсировать движения пользователя и сделать VR-окружение более естественным, плавным и качественным. Разрыв реакции между движениями тела и визуальным обновлением картинки в шлеме является основной причиной возникновения у пользователей эффекта тошноты и укачивания, и Mali-D77 может очень помочь в этом отношении.

Данные о смещении по осям X, Y, Z поступают непосредственно в Mali-D77 от ЦП, полностью минуя стадию ГП. Это совершенно другой принцип работы Asynchronous Timewarp, который требует от разработчиков использования нового набора инструментов и методов разработки. К счастью, инженеры ARM тесно сотрудничают с такими организациями, как OpenXR, поэтому наверняка появятся API и инструменты упрощённой разработки.

В целом, ARM Mali-D77 — разумное и логичное развитие идеи гетерогенных вычислений, помогающее решить некоторые из самых серьёзных проблем виртуальной реальности (особенно актуальные для мобильных шлемов). Есть ещё масса препятствий вроде точности отслеживания движений, беспроводной связи и так далее, но Mali-D77 — важный шаг в правильном направлении.