Команда исследователей из Университета Торонто обнаружила новую атаку под названием GPUHammer, которая может инвертировать биты в памяти графических процессоров Nvidia, незаметно повреждая модели ИИ и нанося серьёзный ущерб, не затрагивая при этом сам код или входные данные. К счастью, Nvidia уже опередила потенциальных злоумышленников, которые могли бы воспользоваться этой уязвимостью, и выпустила рекомендации по снижению риска, связанного с этой проблемой.

Источник изображения: Nvidia

Исследователи продемонстрировали, как GPUHammer может снизить точность модели ИИ с 80 % до менее 1 % — всего лишь инвертируя один бит в памяти. Они протестировали уязвимость на реальной профессиональной видеокарте Nvidia RTX A6000, используя технику многократного инжектирования ячеек памяти до тех пор, пока одна из соседних ячеек не инвертируется, что нарушает целостность хранящихся в ней данных.

GPUHammer — это версия известной аппаратной уязвимости Rowhammer, ориентированная на графические процессоры. Это явление уже давно существует в мире процессоров и оперативной памяти. Современные микросхемы памяти настолько плотно упакованы, что многократное чтение или запись одной строки может вызвать электрические помехи, которые переворачивают (инвертируют) биты в соседних строках. Этим перевернутым битом может быть что угодно — число, команда или часть веса нейронной сети.

До сих пор эта уязвимость в основном касалась системной памяти DDR4, но GPUHammer продемонстрировала свою эффективность с видеопамятью GDDR6, которая используется во многих современных видеокартах Nvidia. Это серьёзная причина для беспокойства, по крайней мере, в определённых ситуациях. Исследователи показали, что даже при наличии некоторых мер защиты они могут вызывать множественные перевороты битов в нескольких банках памяти. В одном случае это полностью сломало обученную модель ИИ, сделав её практически бесполезной. Примечательно, что для этого даже не требуется доступ к данным. Злоумышленнику достаточно просто использовать тот же графический процессор в облачной среде или на сервере, и он потенциально может вмешиваться в вашу рабочую нагрузку по своему усмотрению.

Исследователи протестировали метод атаки на карте RTX A6000, но риску подвержен широкий спектр графических процессоров Ampere, Ada, Hopper и Turing, особенно тех, что используются в рабочих станциях и серверах. Nvidia опубликовала полный список уязвимых моделей ускорителей и рекомендует использовать функцию коррекции ошибок ECC для решения большинства из них. При этом новые графические процессоры, такие как RTX 5090 и серверные H100, имеют встроенную ECC непосредственно на GPU, и она работает автоматически — настройка пользователем не требуется.

Данная уязвимость не затрагивает обычных пользователей домашних ПК. Она актуальна для общих сред графических процессоров, таких как облачные игровые серверы, кластеры обучения ИИ или конфигурации VDI, где несколько пользователей запускают рабочие нагрузки на одном оборудовании. Тем не менее угроза реальна и должна быть серьезно воспринята всей индустрией, особенно с учётом того, что всё больше игр, приложений и сервисов начинают в той или иной мере использовать ИИ.

Рекомендация Nvidia сводится к использованию функции ECC. Её можно включить с помощью командной строки Nvidia, введя команду nvidia-smi -e 1. Проверить активность функции ECC можно с помощью команды nvidia-smi -q | grep ECC. Следует помнить, что включение ECC имеет небольшой недостаток — снижение производительности примерно на 10 % при выполнении задач машинного обучения и сокращение объёма используемой видеопамяти примерно на 6–6,5 %. Но для серьёзной работы с ИИ это разумный компромисс.

Атаки, подобные GPUHammer, не просто приводят к сбоям в работе систем или вызывают сбои. Они нарушают целостность самого ИИ, влияя на поведение моделей или принятие решений. И поскольку всё это происходит на аппаратном уровне, эти изменения практически незаметны, особенно если не знать, что именно и где искать. В регулируемых отраслях, таких как здравоохранение, финансы или автономный транспорт, это может привести к серьёзным проблемам — неверным решениям, нарушениям безопасности и даже юридическим последствиям.

Компания Intel представила профессиональные видеокарты Arc Pro B50 и Arc Pro B60 для рабочих станций. Старшая модель оснащена 24 Гбайт памяти, младшая — 16 Гбайт. Производитель также анонсировал рабочую станцию под названием Battlematrix, которая соединит в себе до восьми графических процессоров Arc Pro B60 — вероятно, в двухчиповой конфигурации.

Источник изображений: Tom's Hardware / Intel

В основе Arc Pro B60 используется полноценный графический чип BGM-G21 с 20 ядрами Xe2-HPG, 20 блоками трассировки лучей и 160 матричными движками (XMX). Карта получила 24 Гбайт памяти GDDR6 со скоростью 19 Гбит/с на контакт, 192-битной шиной и пропускной способностью 456 Гбайт/с.

Для работы новинка использует восемь линий PCIe 5.0. Набор внешних видеоразъёмов будет варьироваться в зависимости от производителя.

f7TbEWSjnXESbEjoFKKzjc.jpg

Смотреть все изображения (3)

LcSh2b9YRE7TSXfMbVzT4d.jpg

rB75P53XCjYVUhLvfznXtc.jpg

Смотреть все
изображения (3)

По словам Intel, Arc Pro B60 обеспечивает до 197 TOPS производительности в 8-битных целочисленных операциях (INT8). Энергопотребление карты заявлено в диапазоне от 120 до 200 Вт (в зависимости от конкретной модели партнёра). В своих внутренних тестах компания подчёркивает преимущество 24 Гбайт памяти у Arc Pro B60 по сравнению с конкурентами — RTX 200 Ada 16 Гбайт и RTX 5060 Ti 16 Гбайт от Nvidia, утверждая, что это обеспечивает превосходство до 2,7 раза при работе с различными ИИ-моделями. Также подчёркиваются преимущества большей ёмкости памяти с учётом объёма моделей, сценариев использования и масштабирования параллелизма.

Модель Arc Pro B50 включает графический процессор BGM-G21 с 16 ядрами Xe2-HPG, 16 блоками трассировки лучей и 128 матричными движками (XMX).

Карта оснащена 16 Гбайт памяти GDDR6 со скоростью 19 Гбит/с на контакт, 128-битной шиной и пропускной способностью 224 Гбайт/с. В задачах INT8 она обеспечивает производительность до 170 TOPS. Энергопотребление карты составляет 70 Вт. Набор внешних видеоразъёмов включает четыре mini-DisplayPort 2.1. Для подключения используется 8 линий PCIe 5.0.

4vwqethFYMpvhJmTFkpcQW.jpg

Смотреть все изображения (4)

e4MTzyfytT7G8aJ383qFZW.jpg

PghdSYPWfSmVNeBZeqtfjW.jpg

SxisqXK7L7c25FRrzH4DtW.jpg

Смотреть все
изображения (4)

Компания заявляет, что Arc Pro B50 демонстрирует в графических задачах до 3,4 раза более высокую производительность по сравнению с предшественником A50. В качестве основного конкурента Intel выделяет Nvidia RTX 1000.

Что касается проекта Battlematrix, то судя по иллюстрации, а также анонсу китайской компании MaxSun, в системах будут использованы карты с двумя графическими процессорами Arc Pro B60 и 48 Гбайт памяти. Это даст до 192 Гбайт видеопамяти на одну машину. Также в этих системах будут использоваться процессоры Intel Xeon.

C3MJL8ncjRgQtt9fxEXkxh.jpg

Смотреть все изображения (6)

fAxmZnynzq7Y3ACASceoWi.jpg

NDBjr87SW6y5o7v2XgyPfi.jpg

tHtHqu26VaisB6zdeiapqh.jpg

tx6P6B5Emd8Lch55MGZXFi.jpg

uFmYTBot8uys7t7tRegh6i.jpg

Смотреть все
изображения (6)

Стоимость подобных рабочих станций будет варьироваться от $5000 до $10 000. Компания отмечает, что рабочие станции Battlematrix предназначены для работы с ИИ-моделями с более чем 70 млрд параметров.

5bA8j4skSjYQYeUZtfrwNL.jpg

Смотреть все изображения (12)

5F7CMYPq4t33qLhUPC2irM.jpg

5ofCpFfhzPVJtwRaQpjNTX.jpg

6xLezFDYsvYDzmpYHWV7JP.jpg

7u4cp8hM64bAhozzKEqQsQ.jpg

BTbAWqmDZTPxpHxBEa9XMi.jpg

BYSsMaC5wp9ycLfsFkqSjb.jpg

LfUHfyrgc4HMWyrbgcyfJU.jpg

rPWJAFMpPTCyaAYnPr4w8K.jpg

sisfzMbiBUBh4HYprVbRfS.jpg

WH8CLDFzbULvn93tiqiqqf.jpg

ZgRNhVjXELco8eauUQ5qxH.jpg

Смотреть все
изображения (12)

Arc Pro B50 компания Intel оценила в $299, тогда как Arc Pro B60 будет стоит около $500. Оба ускорителя станут доступны в третьем квартале текущего года в составе готовых рабочих станций. Однако в четвёртом квартале года карты также ожидаются в виде самостоятельных продуктов.

После ужесточения санкций со стороны США и запрета на поставку в Китай ИИ-ускорителя H20, Nvidia оказалась в сложной ситуации и вынуждена пересмотреть стратегию работы с ключевым китайским рынком, чтобы избежать нарушений экспортных ограничений. Компания ведёт переговоры с Alibaba, ByteDance и Tencent о поставках адаптированных чипов.

Источник изображения: Mariia Shalabaieva / Unsplash

По сообщению Reuters, генеральный директор компании Дженсен Хуан (Jensen Huang) лично проинформировал партнёров о новых разработках во время своего визита в Пекин в середине апреля. Эта поездка состоялась вскоре после того, как США ограничили экспорт в Китай чипов H20 (специализированный вариант H100) для задач искусственного интеллекта.

По оценкам самой Nvidia, новые экспортные ограничения могут лишить компанию $5,5 млрд выручки, и чтобы минимизировать потери, разрабатываются чипы, которые формально соответствовали бы американским требованиям, но при этом сохраняли бы высокую производительность. Параллельно ведётся работа над «китайской» версией новейшего процессора Blackwell.

Китайский рынок остаётся критически важным для Nvidia, поэтому компания ищет любые способы сохранить там своё присутствие. Ранее она уже выпускала «урезанные» версии чипов для этого региона, но новые санкции требуют более сложных технических решений, над чем сейчас и трудятся инженеры. Сообщается, что первые образцы ИИ-ускорителей поступят китайским клиентам уже в июне, а китайская версия Blackwell — немного позже.

Представители Nvidia отказались комментировать эту информацию. Компании ByteDance, Alibaba и Tencent, а также Министерство торговли США не ответили на запросы Reuters.

Компания Huawei Technologies планирует уже в следующем месяце начать массовые поставки своего усовершенствованного ИИ-ускорителя Ascend 910C на внутренний рынок китайским клиентам. Единичные отгрузки чипов уже состоялись и, как отмечает Reuters, планы компании совпадают с ключевым моментом — китайские разработчики остались без доступа к современным чипам Nvidia из-за новых экспортных ограничений США.

Источник изображения: Huawei Technologies

С начала апреля администрация президента США Дональда Трампа (Donald Trump) потребовала, чтобы Nvidia получила экспортную лицензию на поставки в Китай своего чипа H20, который был одним из немногих, разрешённых к свободной продаже в Поднебесной. Теперь китайские компании вынуждены искать внутренние альтернативы, и Huawei со своим новым чипом может занять освободившуюся нишу.

Huawei Ascend 910C представляет собой графический процессор (GPU), который, по словам экспертов, достигает уровня производительности, сопоставимого с Nvidia H100. Это стало возможным благодаря объединению двух чипов 910B в одном корпусе с использованием современных технологий интеграции. Уточняется, что новинка обладает вдвое большей вычислительной мощностью и объёмом памяти по сравнению с предыдущей моделью, а также улучшенной поддержкой различных типов нагрузок, связанных с работой искусственного интеллекта (ИИ).

Хотя Huawei официально отказывается комментировать планы по поставкам и не раскрывает технические характеристики 910C, эксперты считают, что чип может стать основным выбором китайских разработчиков ИИ-моделей в условиях усилившегося технологического давления со стороны США.

Как стало известно Reuters, Huawei ещё в конце прошлого года разослала тестовые образцы Ascend 910C технологическим компаниям и начала принимать заказы. Однако какие именно предприятия производят новый чип, пока неизвестно. По данным источников, часть компонентов изготавливает китайская SMIC по 7-нанометровой технологии, но с низким процентом выхода годных чипов.

Также выяснилось, что некоторые GPU 910C содержат полупроводники, произведённые тайваньской компанией TSMC для китайской Sophgo. В связи с этим Министерство торговли США начало расследование, поскольку TSMC с 2020 года официально не сотрудничает с Huawei. По данным исследователя из Центра технологий, безопасности и политики RAND в Арлингтоне (США) Леннарта Хайма (Lennart Heim), TSMC выпустила всего около трёх миллионов чипов по заказу Sophgo.

Huawei отрицает использование чипов TSMC в своих процессорах. Sophgo не прокомментировала ситуацию, а TSMC заявила о полном соблюдении экспортных ограничений.

Признанный лидер в сфере ИИ, компания OpenAI, прикладывает серьёзные усилия по снижению зависимости от ускорителей ИИ производства Nvidia. В ближайшие несколько месяцев OpenAI планирует завершить разработку собственного чипа и начать его производство на фабриках TSMC с использованием самых передовых техпроцессов.

Источник изображения: Samsung

По мнению аналитиков, «OpenAI находится на пути к достижению своей амбициозной цели массового производства на мощностях TSMC в 2026 году». Наиболее ответственным этапом на пути от дизайна к выпуску готовых чипов является Tape-out («тейпаут») — процесс переноса цифрового проекта чипа на фотошаблон для последующего производства. Обычно этот этап обходится в несколько десятков миллионов долларов, а до выпуска первого чипа проходит до шести месяцев. В случае сбоя требуется диагностировать проблему и повторить процесс.

OpenAI рассматривает свой будущий ускоритель ИИ как стратегический инструмент для укрепления переговорных позиций с другими поставщиками чипов. Если первоначальный выпуск пройдёт удачно, OpenAI уже в этом году представит альтернативу чипам Nvidia, которые сейчас занимают более80 % рынка ИИ-ускорителей.

В случае успеха первого чипа инженеры OpenAI планируют разрабатывать все более продвинутые процессоры с более широкими возможностями с каждой новой итерацией. Компания уже стала участником инфраструктурной программы Stargate стоимостью $500 млрд, объявленной президентом США Дональдом Трампом (Donald Trump) в прошлом месяце.

Чип разрабатывается внутренней командой OpenAI во главе с Ричардом Хо (Richard Ho) в сотрудничестве с Broadcom. Хо более года назад перешёл в OpenAI из Google, где руководил программой по созданию специализированных чипов ИИ. Хотя команда Хо за последние месяцы выросла до 40 сотрудников, это количество по прежнему на порядок меньше, чем в масштабных проектах таких технологических гигантов, как Google или Amazon.

Аналитики полагают, что на первом этапе новый ускоритель ИИ от OpenAI будет играть ограниченную роль в инфраструктуре компании. Чтобы создать столь же всеобъемлющую программу по проектированию чипов ИИ, как у Google или Amazon, OpenAI придётся нанять сотни инженеров.

Согласно отраслевым источникам, новый дизайн чипа для амбициозной масштабной программы может обойтись в $500 млн. Эти расходы могут удвоиться, если учитывать необходимость создания программного обеспечения и периферийных устройств. Для сравнения: в 2025 году Meta✴ планирует потратить $60 млрд на ИИ-инфраструктуру, а годовые инвестиции Microsoft в этом направлении составят $80 млрд.

NVIDIA получает до 1000 % выручки с каждого проданного специализированного графического ускорителя H100, предназначенного для задач, связанных с искусственным интеллектом. Об этом утверждает журналист издания Barron Тэ Ким (Tae Kim), ссылающийся на анализ консалтинговой компании Raymond James.

Источник изображения: NVIDIA

В настоящий момент стоимость каждого ускорителя NVIDIA H100 в зависимости от региона продаж и поставщика в среднем составляет $25–30 тыс. При этом речь идёт о менее дорогой PCIe-версии указанного решения. По оценкам Raymond James, стоимость использующегося в этом ускорителе графического процессора, а также дополнительных материалов (печатной платы и других вспомогательных элементов) составляет $3320. К сожалению, Ким не уточняет глубину анализа расчёта стоимости и не поясняет, включены ли в этот показатель такие факторы, как затраты на разработку, зарплата инженеров, а также стоимость производства и логистики.

Разработка специализированных ускорителей требует значительного времени и ресурсов. По данным того же портала Glassdoor, средняя зарплата инженера по аппаратному обеспечению в NVIDIA составляет около $202 тыс. в год. Речь идёт только об одном инженере, но очевидно, что при разработке тех же H100 работала целая команда специалистов, а на саму разработку были затрачены тысячи рабочих часов. Всё это должно учитываться в конечной стоимости продукта.

И всё же очевидно, что сейчас NVIDIA в вопросе поставок аппаратных средств для ИИ-вычислений находится вне конкуренции. На специализированные ускорители «зелёных» сейчас такой спрос, что они распродаются ещё задолго до того, как попадают на условные полки магазинов. Поставщики говорят, что очередь за ними растянулась до второго квартала 2024 года. А с учётом последних оценок аналитиков, согласно которым к 2027 году рынок ИИ-вычислений вырастет до $150 млрд, ближайшее будущее NVIDIA видится точно безбедным.

С другой стороны, для рынка в целом высокий спрос на ускорители ИИ-вычислений имеет свои негативные последствия. В последних отчётах аналитиков говорится, что продажи традиционных серверов (HPC) в глобальном масштабе сокращаются. Основная причина падения спроса заключается в том, что гиперскейлеры и операторы ЦОД переключают внимание на системы, оптимизированные для ИИ, в которых используются решения вроде NVIDIA H100. По этой причине тем же производителям памяти DDR5 пришлось пересмотреть свои ожидания относительно распространения нового стандарта ОЗУ на рынок, поскольку операторы ЦОД сейчас активно инвестируют именно в ускорители ИИ, а не в новый стандарт оперативной памяти. На фоне этого ожидается, что уровень внедрения DDR5 достигнет паритета с DDR4 только к третьему кварталу 2024 года.