Компания Nvidia завершила сделку по приобретению ИИ-стартапа Run:ai за $700 млн. Это произошло вскоре после того, как в этом месяце Еврокомиссия, являющаяся основным отраслевым регулятором в регионе, после проведённого расследования одобрила сделку, не найдя угроз для конкуренции.

Источник изображения: Nvidia

Ранее в этом месяце Еврокомиссия одобрила сделку по покупке Nvidia стартапа Run:ai из Тель-Авива, который предоставляет услуги по оптимизации инфраструктуры для управления рабочими нагрузками в области искусственного интеллекта. Регулятор пришёл к выводу, что слияние не станет причиной появления проблем с конкуренцией внутри Европейской экономической зоны.

В рамках расследования Еврокомиссия изучала, как слияние может повлиять на укрепление позиций Nvidia на рынке графических ускорителей, где американская компания уже занимает доминирующее положение. Nvidia также лидирует в сегменте GPU для искусственного интеллекта с долей около 80 %. Несмотря на это, регулятор одобрил сделку, поскольку деятельность Nvidia и Run:ai не пересекается. Также отмечалось, что израильский стартап в настоящее время не занимает значимой позиции на рассматриваемом рынке.

Одновременно с заявлением о закрытии сделки Run:ai объявила о намерении сделать код своего программного обеспечения открытым. «Хотя в настоящее время Run:ai поддерживает только графические ускорители Nvidia, открытый исходный код программного обеспечения позволит расширить его доступность на всю экосистему искусственного интеллекта», — говорится в заявлении стартапа.

Зависимость той же Nvidia в сфере поставок ускорителей вычислений от своих подрядчиков иллюстрирует необходимость синхронизации усилий участников рынка компонентов для его насыщения. Японская компания Ibiden, поставляющая подложки для чипов, убеждена в сохранении высокого спроса на подобную продукцию в ближайшие несколько лет.

Источник изображения: Ibiden

Сейчас подложки для ИИ-чипов формируют около 15 % выручки Ibiden, которая в целом достигает $2,3 млрд, но эта доля будет расти в дальнейшем, как считают опрошенные Bloomberg представители компании. Все ускорители Nvidia сейчас используют только подложки Ibiden, хотя тайваньские конкуренты типа Unimicron Technology и пытаются потеснить японского поставщика.

Свои компетенции в сфере производства подложек Ibiden в прошлом веке развивала при активном участии Intel. В девяностые годы, например, этот американский производитель процессоров формировал до 90 % выручки Ibiden в сфере поставок подложек. К концу марта уходящего года этот показатель упал до 30 %, но руководство Ibiden продолжает считать Intel очень важным клиентом, и выражает уверенность, что у неё всё наладится.

Непосредственно Intel будет играть ключевую роль в усилиях властей США по возрождению национальной полупроводниковой промышленности, но Ibiden не видит для себя смысла строить производственные предприятия на территории США. Это требует больших затрат на логистику и оплату труда сотрудников, и обещанные Трампом повышенные пошлины не смогут кардинально повлиять на решение Ibiden.

Клиентами Ibiden также являются компании AMD, Samsung и TSMC, они плотно сотрудничают с японским подрядчиком при разработке своих новых изделий. Сейчас весь объём выпускаемой Ibiden продукции раскупается клиентами, высокий спрос сохранится как минимум до конца следующего года. В центральной части Японии компания строит новое предприятие по выпуску подложек. К концу следующего года оно будет запущено на 25 % своих проектных мощностей, а к марту 2026 года выйдет на 50 %. Этого не будет достаточно для удовлетворения спроса на подложки со стороны клиентов, поэтому компания сейчас ведёт с ними переговоры о сроках вывода строящегося предприятия на 100 % мощности.

После усиления санкций США компания Nvidia продолжает поставлять в Китай флагманские GPU, но в несколько урезанном виде. Спрос на созданный для Китая ускоритель вычислений HGX H20, возможности которого адаптированы в соответствии с санкционными требованиями США, ежеквартально увеличивается на 50 %, сообщает Tom's Hardware. Ускоритель HGX H20 стал в Китае настоящим хитом.

Источник изображения: Nvidia

В контексте глобального спроса на технологии искусственного интеллекта, Nvidia в последние два года испытывает большой интерес к своей продукции, особенно в США, странах Ближнего Востока и Китае. Однако из-за экспортных ограничений компания не может продавать в Китай свои самые мощные ускорители, такие как Hopper H100 и даже адаптированный прежде для Китая H800, без специальной лицензии. В ответ на эти ограничения Nvidia предложила урезанную версию — HGX H20, которая, несмотря на более скромные характеристики, быстро завоёвывает китайский рынок систем искусственного интеллекта.

«Модифицированная система H20, полностью соответствующая правилам экспортного контроля для Китая, показывает невероятные результаты по продажам, подчёркивая, насколько важен для Nvidia китайский рынок, даже с учётом необходимости адаптировать продукцию под действующие ограничения», — пишет в X аналитик в сфере полупроводникового бизнеса Клаус Ошхолм (Claus Aasholm).

Развитие искусственного интеллекта в мире стимулирует спрос на все типы оборудования для дата-центров, включая GPU от Nvidia. Ведущие экономики мира, США и Китай, находятся в состоянии гонки за превосходство в области ИИ, и в то время, как США используют свои ресурсы для наращивания ИИ-возможностей, Китай, несмотря на ограничения, продолжает активно развивать собственные аппаратные и программные ИИ-решения. Это подтверждается недавним достижением китайской компании Deepseek, которая успешно обучила свою языковую модель на GPU от Nvidia.

В перспективе китайские компании, такие как Biren Technologies и Moore Threads, могут составить конкуренцию Nvidia на внутреннем рынке. Однако аналитики отмечают, что это не произойдёт в ближайшее время, и Nvidia продолжит доминировать в китайских дата-центрах, даже несмотря на урезанные версии своих GPU.

Второе поколение ускорителей Nvidia с архитектурой Blackwell в лице B300, как сообщает Tom’s Hardware со ссылкой на SemiAnalysis, предложит рост быстродействия на 50 % по сравнению с GB200, но уровень TDP при этом увеличится только с 1200 до 1400 Вт. Чипы семейства B300, по оценкам аналитиков, появятся примерно через полгода после B200, поставки которых уже должны были начаться в этом квартале.

Источник изображения: Nvidia

Выпускать чипы B300 по прежней технологии 4NP будет компания TSMC, но это не помешает добиться роста производительности в вычислениях на 50 %. Ещё одним важным изменением станет использование чипами серии B300 двенадцатиярусных стеков памяти типа HBM3E. Оно обеспечит объём памяти в 288 Гбайт на один ускоритель и пропускную способность на уровне 8 Тбайт/с. Подобные изменения в совокупности позволят снизить затраты на обучение нейронных сетей до трёх раз по сравнению с предшественниками.

Появление сетевого контроллера ConnectX-8 класса 800G позволит удвоить пропускную способность сетевого интерфейса относительно текущего ConnectX-7, а увеличение количества линий PCI Express с 32 до 48 штук расширит возможности интеграции данных ускорителей в серверных системах. Важным изменением при производстве ускорителей B300 станет и отказ Nvidia от поставок материнских плат или серверных систем строго в эталонном дизайне. Расширив доступ партнёров к производству таких ускорителей и систем, Nvidia увеличит объёмы поставок продукции. В целом, устройство систем на базе B300 и GB300 будет формироваться на принципах большей свободы, и клиенты от этого только выиграют.

Опубликовавший накануне первый снимок печатной платы видеокарты Nvidia GeForce RTX 5090 пользователь форума Chiphell теперь раскрыл, как будет выглядеть сам графический процессор грядущего флагмана. Чип запечатлён в окружении микросхем памяти нового поколения GDDR7.

Источник изображения: baidu.com

Флагманская видеокарта Nvidia GeForce RTX 5090, анонс которой ожидается на выставке CES 2025, получит графический процессор GB202 семейства Blackwell. Применённый здесь вариант GB202-300 содержит 21 760 ядер CUDA. Чип имеет достаточно массивную упаковку размером 63 × 56 мм, размеры самого кристалла составляют 24 × 21 мм, площадь области кристалла равна 744 мм².

На снимок также попали микросхемы памяти GDDR7 от Samsung, хотя разобрать их маркировку непросто. Объём каждого модуля составляет 2 Гбайт; как ожидается, память будет работать со скоростью 28 Гбит/с на контакт. Вокруг графического процессора размещены 16 чипов, а значит, видеокарта предложит 32 Гбайт памяти — уникальная конфигурация для игровых видеокарт семейства Blackwell.

Анонс Nvidia GeForce RTX 5080 и RTX 5090 ожидается в январе, причём старшая модель должна появиться позже. Но образцы уже находятся у производителей видеокарт, а на чипе присутствует маркировка Nvidia. Единственной недостающей подробностью остаётся дата производства.

Apple наращивает темпы исследований и разработки собственных ускорителей искусственного интеллекта, чтобы снизить зависимость от сторонних производителей — компания намеревается полностью разорвать отношения с Nvidia, которые никогда не были особенно тёплыми.

Источник изображений: BoliviaInteligente / unsplash.com

В ноябре 2020 года Apple представила чип M1 — первый процессор собственной разработки для компьютеров серии Mac. Тем самым компания разорвала связи с Intel, которая долгое время отвечала за процессоры в ПК Apple. Теперь Apple намеревается сократить зависимость от другого стороннего поставщика — Nvidia. Сегодня его оборудование требуется для работы множества ИИ-функций из пакета Apple Intelligence. Nvidia контролирует, по разным оценкам, от 70 % до 95 % рынка ИИ-ускорителей. Благодаря этому она оказалась в числе самых дорогих компаний мира и в какой-то момент стоила дороже, чем Apple. Интересно, что Apple не закупает оборудование Nvidia напрямую, а арендует доступ к нему у облачных операторов Amazon и Microsoft. Но и это будет продолжаться не всегда: Apple, по некоторым сведениям, привлекла Broadcom к разработке собственного ускорителя ИИ.

Отношения Apple и Nvidia зародились в начале 2000-х годов, когда «зелёные» видеокарты появились в компьютерах Mac. Но уже тогда отношения между компаниями были напряжёнными: во время встречи с одним из старших членов руководства Nvidia тогдашний гендиректор Apple Стив Джобс (Steve Jobs) заявил, что в продукции Nvidia используется технология, скопированная у анимационной студии Pixar, контрольный пакет акций которой в тот момент принадлежал Джобсу. Топ-менеджер Nvidia отверг это обвинение, но Джобс просто игнорировал его до конца встречи, рассказал ресурс The Information. Nvidia, в свою очередь, тоже не любит работать с Apple, считая ту слишком требовательной для компании, которая не присутствует постоянно в списке десяти крупнейших клиентов.

Apple было непросто работать с Nvidia, потому что её видеокарты представлялись ей недостаточно энергоэффективными и производили много тепла, что было нежелательно для ноутбуков. Когда Apple обратилась к Nvidia с предложением разработать чипы специально для MacBook, то получила отказ. Недовольство усилилось в 2008 году, когда неисправная видеокарта разработки Nvidia оказалась в компьютерах Apple, Dell и HP; инцидент Bumpgate способствовал переходу Apple на видеокарты AMD и разработке собственных процессоров. В 2019 году Apple прекратила сотрудничать с Nvidia по выпуску драйверов для macOS Mojave — это усложнило поддержку работающих машин и не позволило устанавливать актуальные видеокарты на компьютеры Mac. Установить, от кого в Apple исходила инициатива прекратить поддержку драйверов, так и не удалось.

Сегодня руководство Nvidia утверждает, что неприязнь носит в основном односторонний характер, и компания открыта для сотрудничества с Apple. Apple же в 2026 году намеревается ввести в эксплуатацию собственные ИИ-ускорители, которые проходят под кодовым наименованием Baltra — их, как ожидается, будет производить TSMC с использованием техпроцесса N3P. Этот техпроцесс дебютирует в чипах для iPhone 17 Pro.

В интернет утекло первое фото печатной платы GeForce RTX 5090 — флагманской игровой видеокарты серии Nvidia Blackwell. Официальная презентация новинки состоится в начале следующего месяца, а продажи, по имеющейся информации, начнутся не ранее конца января.

Источник изображения: chiphell.com

Печатная плата на фотографиях с большой вероятностью относится к какому-то партнерскому варианту RTX 5090 — она значительно крупнее обычной платы расширения, и на ней нет маркировки Nvidia, то есть это не модель серии Founders Edition. Её снимки опубликованы на форуме Chiphell, который и ранее становился источником похожих утечек. С другой стороны, она построена на плате PG145 — это эталонное исполнение Nvidia. Расположение графической памяти GDDR7 напоминает логотип Google Android: по пять чипов слева и справа, четыре сверху и два — снизу от графического процессора. Всего получаются 16 модулей, что в теории позволяет использовать конфигурации на 32, 48 или 64 Гбайт в зависимости от применяемых модулей: 2, 3 или 4 Гбайт.

Nvidia GeForce RTX 5090 оборудуется графическим процессором GB202, размеры которого составляют 24 × 31 мм — и 63 × 56 мм с учётом упаковки. Разъём питания на плате только один, и это, скорее всего, 12V-6×2. Наконец, внешний вид даёт основания предполагать, что видеокарта подключается по интерфейсу PCIe 5.0.

За рассуждениями об энергетических потребностях суперкомпьютера Colossus чуть не затерялся тот факт, что стартапу xAI удалось привлечь ещё $6 млрд финансирования от группы институциональных и стратегических инвесторов. Среди последних компания Илона Маска (Elon Musk) открыто упоминает AMD и Nvidia, которые помогают ей развивать вычислительную инфраструктуру.

Источник изображения: xAI

Среди институциональных инвесторов, вложившихся в капитал xAI в рамках третьего раунда привлечения средств, есть представители не только американской финансовой сферы, но и компании из Саудовской Аравии и Катара. Предыдущий раунд финансирования xAI пришёлся на май текущего года. До недавних пор считалось, что в ходе третьего раунда xAI удастся привлечь около $5 млрд и оценить тем самым собственную капитализацию в $50 млрд. Получается, что на практике оба значения были превышены.

AMD и Nvidia, по словам представителей xAI, продолжают содействовать быстрому расширению вычислительной инфраструктуры компании. Как отмечается на страницах корпоративного блога, xAI рассчитывает удвоить количество установленных в суперкомпьютере Colossus ускорителей Nvidia с архитектурой Hopper до 200 000 штук в сжатые сроки.

Самая современная языковая модель компании — Grok 3, по данным руководства xAI, сейчас используется для подготовки инновационных продуктов как для частных, так и для корпоративных клиентов компании. Участие в финансировании деятельности xAI компаний AMD и Nvidia может говорить об их заинтересованности в поддержке разработчиков систем искусственного интеллекта, которые пока целиком полагаются на их компонентную базу. Облачные гиганты типа Microsoft, Amazon, Google и Meta✴, например, заинтересованы в создании собственных процессоров и ускорителей вычислений. Впрочем, недавно опубликованные сведения позволяют говорить, что Microsoft в этом отношении сильнее прочих зависит от Nvidia.

Nvidia подтвердила наличие проблемы с производительностью в программном пакете Nvidia App и предложила его решение — отключить опцию «Игровые фильтры». В очередном обновлении компания отчасти решила эту проблему, отключив опцию по умолчанию.

Источник изображения: nvidia.com

Nvidia App позиционируется как замена GeForce Experience, которая объединит функции предшественника и в перспективе — панели управления. Новый программный продукт был выпущен несколько месяцев назад и издавался параллельно с основной веткой в качестве бета-версии для геймеров. Но когда Nvidia выпустила его в комплекте с драйверами, пользователи стали замечать просадку производительности. Сообщество выдвинуло множество гипотез происходящего, и впоследствии производитель сообщил, что устранить потерю производительности можно, отключив настройку «Игровые фильтры».

В последнем обновлении Nvidia App 11.0.1.189 проблема ещё не решена окончательно, но опция «Игровые фильтры» теперь отключена по умолчанию. Некоторые пользователи сообщали о проблеме ещё на этапе бета-тестирования, из чего можно сделать вывод, что Nvidia не сможет решить её оперативно. Маловероятно, что ошибка будет исправлена до наступления 2025 года. При соответствующих настройках программного пакета он должен автоматически обновиться с очередным запуском.

Пятимесячное расследование компании SemiAnalysis показало, что специализированные ИИ-ускорители серии AMD MI300X не раскрывают свой потенциал из-за серьёзных проблем в работе программного обеспечения. Этот факт делает все усилия компании по навязыванию жёсткой конкуренции Nvidia, доминирующей на рынке аппаратного обеспечения для ИИ, бессмысленными.

Источник изображения: The Decoder

Исследование показало, что программное обеспечение AMD изобилует ошибками, которые делают обучение моделей ИИ практически невозможным без значительной отладки. Таким образом, пока AMD работает над обеспечением качества и простоты использования своих ускорителей, Nvidia продолжает увеличивать разрыв, развёртывая новые функции, библиотеки и повышая производительность своих решений.

По итогам обширных тестов, включая тесты GEMM и одноузловое обучение, исследователи пришли к выводу, что AMD не в состоянии преодолеть то, что они называют «неприступным рвом CUDA» — сильное преимущество в виде программного обеспечения, которым обладают ускорители Nvidia.

Источник изображения: SemiAnalysis

AMD MI300X «на бумаге» выглядят впечатляюще: 1307 Тфлопс в вычислениях FP16 и 192 Гбайт памяти HBM3. Для сравнения, ускорители Nvidia H100 обладают производительностью 989 Тфлопс и имеют только 80 Гбайт памяти. Однако новое поколение ИИ-ускорителей Nvidia H200 с конфигурациями до 141 Гбайт памяти сокращает разрыв в объёме доступного буфера памяти. Кроме того, системы на базе ускорителей AMD также предлагают более низкую общую стоимость владения благодаря более низким ценам на такие системы и более доступной поддержке сетевой инфраструктуры.

Источник изображения: SemiAnalysis

Однако эти преимущества мало что значат на практике. По данным SemiAnalysis, сравнение «голых» спецификаций похоже на «сравнение камер, когда просто проверяешь количество мегапикселей у одной и другой». AMD, отмечают аналитики, таким образом «просто играет с цифрами», но её решения не обеспечивают достаточный уровень производительности в реальных задачах.

Исследователи отмечают, что им пришлось напрямую работать с инженерами AMD, чтобы исправить многочисленные ошибки в ПО для получения пригодных для оценки результатов тестов. В то же время системы на базе ускорителей Nvidia работали гладко и без каких-либо дополнительных настроек.

«С OOBE от AMD (опыт, который пользователь получает при получении продукта после распаковки или при запуске установщика и подготовке к первому использованию, так называемый "опыт из коробки" — прим. ред.) очень сложно работать. И для перехода к пригодному к использованию состоянию [оборудования] может потребоваться немало терпения и усилий», — пишут эксперты.

Особенно показательным для SemiAnalysis оказался случай, когда компания TensorWave, крупнейший поставщик облачных решений на базе графических процессоров AMD, была вынуждена предоставить команде инженеров AMD бесплатный доступ к своим графическим процессорам — тому же оборудованию, которое TensorWave приобрела у AMD — только для устранения проблем с программным обеспечением.

Для решения проблем эксперты SemiAnalysis рекомендуют генеральному директору AMD Лизе Су (Lisa Su) более активно инвестировать в разработку и тестирование программного обеспечения. В частности, они предлагают выделить тысячи чипов MI300X для автоматизированного тестирования (аналогичному подходу следует Nvidia для своих ускорителей), упростить сложные переменные среды, одновременно внедрив более эффективные настройки для ускорителей по умолчанию. «Сделайте готовый опыт пригодным к использованию!» — призывают специалисты.

Представители SemiAnalysis в своём отчёте признаются, что желают успеха компании AMD в конкуренции с Nvidia, но отмечают, что «к сожалению, для этого ещё многое предстоит сделать». Без существенных улучшений программного обеспечения AMD рискует ещё больше отстать, поскольку Nvidia готовится к массовому выпуску ускорителей нового поколения Blackwell. Хотя, по сообщениям, этот процесс у Nvidia также проходит не совсем гладко.

Компания Nvidia выпустила обновление графического драйвера GeForce Hotfix Display Driver 566.45, основанное на версии Game Ready Driver 566.36. Обновление предназначено для исправления определённых проблем в игре Indiana Jones and the Great Circle, а также для повышения стабильности других игр компании Ubisoft, работающих на игровом движке Snowdrop (из последних это Star Wars Outlaws, XDefiant, Avatar: Frontiers of Pandora).

Источник изображения: VideoCardz

Данное обновление не решает проблемы снижающего игровую производительность приложения Nvidia App, о чём ранее сообщали некоторые пользователи видеокарт GeForce. Эти проблемы вызваны функцией оверлея и цветовых фильтров в составе приложения. Ранее Nvidia рекомендовала временно их отключить.

Список изменений в GeForce Hotfix Display Driver 566.45:

• исправлены проблемы, выражающиеся в микро-зависаниях в Indiana Jones and the Great Circle;
• улучшена стабильность игр Ubisoft, использующих движок Snowdrop.

Отмечается, что драйвер не получил сертификат WHQL и рекомендуется не всем пользователям, а лишь тем, у кого возникают проблемы с микрофризами в указанной игре. Весьма вероятно, что новая стабильная версия драйвера GeForce появится только в следующем году.

Скачать GeForce Hotfix Display Driver 566.45 можно отсюда.

Nvidia получила безусловное одобрение Евросоюза на покупку израильского стартапа Run:ai, который разрабатывает платформу для оркестрации нагрузок искусственного интеллекта. Еврокомиссия заявила, что поглощение не представляет угрозы конкуренции в Европе, несмотря на позицию Nvidia как «ведущего производителя ключевого оборудования для приложений ИИ, используемых в ЕС и за его пределами» и расследование Министерства юстиции США.

«Наше исследование рынка подтвердило, что другие варианты программного обеспечения, совместимые с оборудованием Nvidia, останутся доступными на рынке», — заявила глава антимонопольного управления ЕС Тереза ​​Рибера (Teresa Ribera).

Компания Run:ai, основанная в 2018 году Омри Геллером (Omri Geller) и Роненом Даром (Ronen Dar), тесно сотрудничает с Nvidia с 2020 года. Условия сделки официально не раскрываются, но израильская газета Calcalist оценила её стоимость в $700 млн. Последней крупной сделкой Nvidia в Израиле было приобретение в 2020 году Mellanox Technologies за $7 млрд.

Проверка наблюдательного органа ЕС была инициирована итальянским антимонопольным регулятором в соответствии с особыми полномочиями, которые позволяют Брюсселю расследовать слияния, включая технологические сделки, которые не соответствуют требуемым пороговым значениям выручки для проверок ЕС.

Эти полномочия были ограничены Судом ЕС после недавней блокировки поглощения Illumina поставщика услуг по диагностике рака Grail за $7 млрд. По мнению суда, наблюдательный орган ЕС по слияниям поощрял национальных регуляторов запрашивать проверку сделок, которые не превышали пороговые значения продаж для расследований ЕС. Теперь такие проверки возможны лишь если национальные контролирующие органы уже открывали собственное расследование.

Власти США пытаются различными способами ограничить доступ китайских компаний к передовым ускорителям вычислений американского происхождения, но иногда у них возникают и вопросы непосредственно к производителям оборудования. По данным The Information, сейчас Министерство торговли США попросило Nvidia проанализировать, как её продукция на протяжении текущего года попадала в Китай в условиях санкций.

Источник изображения: Nvidia

В свою очередь, Nvidia обратилась к крупным поставщикам типа Super Micro Computer и Dell Technologies с целью провести выборочную проверку своих клиентов в Юго-Восточной Азии на предмет соблюдения ограничений на поставку серверов с ускорителями Nvidia определённой номенклатуры в КНР. Пять источников, задействованных в поставках ускорителей Nvidia в Китай в обход санкций, сообщили The Information, что им до сих пор удавалось избежать раскрытия подобных операций. Представители Nvidia на подобную публикацию ответили следующим образом: «Мы настаиваем, что все наши клиенты и партнёры строго подчиняются ограничениям в сфере экспорта. Любое несанкционированное отклонение от них в части бывших в употреблении изделий, включая перепродажи на так называемом сером рынке, стало бы проблемой для нашего бизнеса, а не источником выгоды».

Знакомые с ходом расследования представители Super Micro предположили, что покупатели могли подменить серийные номера серверного оборудования, используя значения, закреплённые за системами, эксплуатируемыми за пределами Китая. В некоторых случаях серийный номер подменялся на уровне операционной системы, что дополнительно затрудняло выявление «контрабанды». Представители Dell заявили, что требуют от клиентов выполнения всех законных требований и правил. Если партнёр компании не следует этому принципу, то контракт с ним может быть разорван. Super Micro также требует от всех своих партнёров соблюдения правил экспортного контроля США. По оценкам Omdia, в текущем году в тройку крупнейших покупателей ускорителей Nvidia семейства Hopper вошли сразу две китайские компании, хотя лидером с большим отрывом осталась Microsoft.

Инженеры Apple рассказали о сотрудничестве с Nvidia, благодаря которому им удалось повысить производительность систем при генерации текста большими языковыми моделями искусственного интеллекта.

Источник изображения: developer.nvidia.com

В этом году Apple опубликовала исходный код своего решения Recurrent Drafter (ReDrafter) — это новый метод генерации текста с помощью больших языковых моделей. Он отличается высокой скоростью работы, объединяя две технологии: лучевой поиск и динамическое древо внимания. Исследовательский проект Apple показал убедительные результаты, но при развёртывании ReDrafter технология была интегрирована в систему Nvidia TensorRT-LLM — этот инструмент позволяет быстрее запускать большие языковые модели на ускорителях Nvidia.

Как показали замеры производительности, при запуске больших языковых моделей с десятками миллиардов параметров с использованием фреймворка Nvidia TensorRT-LLM и ReDrafter скорость генерации токенов увеличилась в 2,7 раза. Таким образом, технология позволяет сократить задержку между вводом запроса пользователем и получением ответа от модели — при этом используется меньшее число ускорителей и снижается потребление энергии, сделали вывод инженеры Apple.

«Большие языковые модели всё чаще используются в работе приложений, и повышение эффективности вывода может повлиять на вычислительные издержки и сократить задержку для пользователей. Благодаря новому подходу ReDrafter к интегрированному во фреймворк Nvidia TensorRT-LLM спекулятивному выполнению разработчики теперь могут быстрее генерировать токены на ускорителях Nvidia для своих приложений», — добавили в Apple.

Около половины рынка микросхем памяти HBM сейчас контролирует южнокорейская SK hynix. В конце февраля текущего года Micron Technology заявила, что со второго квартала начнёт поставлять 8-ярусные стеки HBM3E для нужд Nvidia, которая будет устанавливать их в ускорители H200. На этой неделе стало известно, что подобную память Micron начала поставлять и загадочному второму крупному клиенту.

Источник изображения: Micron Technology

Под этим размытым определением может скрываться AMD, которая также оснащает свои ускорители вычислений семейства Instinct памятью типа HBM3E, но говорить об однозначном соответствии нельзя. Более того, на квартальной отчётной конференции на этой неделе руководство Micron Technology заявило, что в первом квартале следующего года компания начнёт снабжать своими микросхемами памяти семейства HBM третьего крупного клиента.

В сентябре текущего года Micron представила 12-ярусные стеки HBM3E, тем самым продемонстрировав устранение отставания от SK hynix. Третий игрок этого рынка, южнокорейская компания Samsung Electronics, уже не первый месяц подряд пытается сертифицировать свою память типа HBM3E под нужды Nvidia, но раз за разом терпит неудачу, несмотря на регулярные заверения в близости успеха. На квартальной конференции руководство Micron подчеркнуло, что её 12-ярусной памятью HBM3E клиенты весьма довольны.

Ёмкость рынка микросхем типа HBM компания Micron в привязке к 2025 году оценивает более чем в $30 млрд против ранее упоминавшихся $25 млрд. К 2028 году ёмкость рынка вырастет до $64 млрд, а по итогам 2030 года превысит $100 млрд. В текущем году данная величина не превысит $16 млрд, как считают в Micron. Что характерно, все заказы на производство HBM на следующий год у компании уже распределены, а цены зафиксированы в контрактах.