Подразделение AWS американского интернет-гиганта Amazon давно входит в число крупнейших игроков рынка облачных услуг. Оно сильно зависит от компонентов и программного обеспечения Nvidia, но параллельно развивает и собственную инфраструктуру, используя наработки компании Annapurna Labs, купленной в 2015 году за $350 млн.

Источник изображения: Amazon

В следующем месяце, как сообщает Financial Times, компания должна продемонстрировать публике ускорители Trainium 2, которые способны справляться с обучением больших языковых моделей. Образцы этих ускорителей уже эксплуатируются стартапом Anthropic, в капитал которого Amazon вложила $4 млрд. Клиентами Amazon на этом направлении также являются компании Databricks, Deutsche Telekom, Ricoh и Stockmark.

Вице-президент AWS по вычислительным и сетевым сервисам Дейв Браун (Dave Brown) заявил следующее: «Мы хотим быть абсолютно лучшим местом для эксплуатации Nvidia, но в то же время мы считаем нормой возможность иметь альтернативу». Уже сейчас ускорители семейства Inferentia обходятся при генерировании ответов ИИ-моделей на 40 % дешевле решений Nvidia. Когда речь идёт о расходах в десятки миллионов долларов, подобная экономия может иметь решающее значение при выборе вычислительной платформы.

По итогам текущего года капитальные расходы Amazon могут достичь $75 млрд, а в следующем окажутся ещё выше. В прошлом году они ограничились $48,4 млрд, и величина прироста показывает, насколько важным компания считает финансирование своей инфраструктуры в условиях бурного развития рынка систем ИИ. Эксперты Futurum Group поясняют, что крупные провайдеры облачных услуг стремятся формировать собственную вертикально интегрированную и однородную по своему составу структуру используемых чипов. Большинство из них стремится разрабатывать собственные чипы для ускорителей вычислений, это позволяет снизить расходы, поднять прибыль, усилить контроль за доступностью чипов и развитием бизнеса в целом. «Дело не столько в чипе, сколько в системе в целом», — поясняет Рами Синно (Rami Sinno), директор Annapurna Labs по разработкам. По его словам, мало кто из компаний может повторить в больших масштабах то, что делает Amazon.

Чипы собственной разработки позволяют Amazon потреблять меньше электроэнергии и повышать КПД собственных центров обработки данных. Представители TechInsights сравнивают чипы Nvidia с автомобилями с кузовом типа «универсал», тогда как решения Amazon собственной разработки напоминают более компактные хэтчбеки, заточенные под выполнение узкого спектра задач. Amazon не спешит делиться данными о тестировании быстродействия своих ускорителей, но чипы Trainium 2 должны по уровню быстродействия превзойти своих предшественников в четыре раза, по имеющимся данным. Само по себе появление альтернатив решениям Nvidia уже может быть высоко оценено клиентами AWS.

В условиях растущей популярности искусственного интеллекта высокое энергопотребление ИИ-моделей становится всё более актуальной проблемой. Несмотря на то, что такие техногиганты, как Nvidia, Microsoft и OpenAI, пока не говорят об этой проблеме громко, явно преуменьшая её значение, специалисты из BitEnergy AI разработали технологию, способную значительно снизить энергопотребление без существенных потерь в качестве и скорости работы ИИ.

Источник изображения: Copilot

Согласно исследованию, новый метод может сократить использование энергии вплоть до 95 %. Команда называет своё открытие «Умножением линейной сложности» (Linear-Complexity Multiplication) или сокращённо L-Mul. Как пишет TechSpot, этот вычислительный процесс основан на сложении целых чисел и требует значительно меньше энергии и операций по сравнению с умножением чисел с плавающей запятой, которое широко применяется в задачах, связанных с ИИ.

На сегодняшний день числа с плавающей запятой активно используются в ИИ для обработки очень больших или очень малых чисел. Они напоминают запись в бинарной форме, что позволяет алгоритмам точно выполнять сложные вычисления. Однако такая точность требует крайне больших ресурсов и уже вызывает определённые опасения, так как некоторым ИИ-моделям нужны огромные объёмы электроэнергии. Например, для работы ChatGPT требуется столько электроэнергии, сколько потребляют 18 000 домохозяйств в США — 564 МВт·ч ежедневно. По оценкам аналитиков из Кембриджского центра альтернативных финансов, к 2027 году ИИ-индустрия может потреблять от 85 до 134 ТВт·ч ежегодно.

Алгоритм L-Mul решает эту проблему за счёт замены сложных операций умножения с плавающей запятой на более простые сложения целых чисел. В ходе тестирования ИИ-модели сохранили точность, при этом энергопотребление для операций с тензорами сократилось на 95 %, а для скалярных операций на 80 %.

L-Mul также улучшает и производительность. Оказалось, что алгоритм превосходит текущие стандарты вычислений с 8-битной точностью, обеспечивая более высокую точность с меньшим количеством операций на уровне битов. В ходе тестов, охватывающих различные задачи ИИ, включая обработку естественного языка и машинное зрение, снижение производительности составило всего 0,07 %, что специалисты сочли незначительной потерей на фоне огромной экономии энергии.

При этом модели на основе трансформеров, такие как GPT, могут получить наибольшую выгоду от использования L-Mul, поскольку алгоритм легко интегрируется во все ключевые компоненты этих систем. А тесты на популярных моделях ИИ, таких как Llama и Mistral, показали даже улучшение точности в некоторых задачах.

Плохая новость заключается в том, что L-Mul требует специализированного оборудования и современные ускорители для ИИ не оптимизированы для использования этого метода. Хорошая новость заключается в том, что уже ведутся работы по созданию такого оборудования и программных интерфейсов (API).

Одной из возможных преград может стать сопротивление со стороны крупных производителей чипов вроде Nvidia, которые могут замедлить внедрение новой технологии. Так как, например, Nvidia является лидером в производстве оборудования для искусственного интеллекта и маловероятно, что она так просто уступит позиции более энергоэффективным решениям.

Накануне южнокорейская компания SK hynix в официальном пресс-релизе сообщила, что приступила к массовому производству памяти типа HBM3E с 12-слойных стеках ёмкостью по 36 Гбайт. Это не только самая современная память такого типа, но и самая ёмкая из ныне выпускаемых. Клиенты SK hynix получат эту память к концу текущего года.

Источник изображения: SK hynix

Нетрудно догадаться, что среди этих клиентов будет Nvidia, поскольку SK hynix остаётся главным поставщиком HBM различных поколений для этого разработчика графических процессоров и ускорителей вычислений. До сих пор, как отмечается в пресс-релизе южнокорейской компании, предельный объём в 24 Гбайта обеспечивался 8-слойным стеком HBM3E. Чипы DRAM, формирующие стек, компании удалось сделать на 40 % более тонкими, что в итоге позволило увеличить ёмкость стека на 50 % по сравнению с 8-слойным вариантом. SK hynix приступила к поставкам 8-слойных стеков HBM3E в марте этого года, поэтому соответствующий прогресс был ею достигнут всего за шесть месяцев.

С 2013 года SK hynix поставляет полный спектр микросхем семейства HBM. Скорость передачи информации в 12-слойном стеке HBM3E достигает 9,6 Гбит/с. Увеличение количества слоёв в стеке при одновременном уменьшении толщины каждого слоя сочетается с улучшением свойств теплопроводности на 10 % по сравнению с памятью предыдущего поколения. На утренних торгах в Сеуле котировки акций SK hynix выросли на 8,3 % после заявления о начале производства самой современной памяти семейства HBM. Всего с начала года акции компании укрепились в цене более чем на 25 %. Такой динамике способствовал и благоприятный прогноз по выручке на текущий квартал от конкурирующего производителя памяти Micron Technology.

Компания Intel объявила о стратегических изменениях, направленных на укрепление своего финансового положения и технологического потенциала, включая выделение бизнеса по производству чипов в самостоятельную компанию и сделку с Amazon по производству ИИ-чипов. Компания нацелена на сокращение расходов и пересмотр инвестиций в производство, а также повышении эффективности капитальных вложений.

Intel объявила о масштабной реструктуризации бизнеса, которая затронет практически все аспекты деятельности компании, начиная от производства и заканчивая продуктовым портфелем. Генеральный директор Intel Пэт Гелсингер (Pat Gelsinger) в своём обращении к сотрудникам 16 сентября 2024 года подчеркнул, что целью преобразований является повышение эффективности, оптимизация расходов и усиление фокуса на ключевых направлениях, таких как разработка x86-совместимых процессоров и бизнес по производству чипов (Intel Foundry). «Мы должны действовать быстро, чтобы создать более конкурентоспособную структуру затрат и достичь целевого показателя экономии в $10 млрд», — заявил Гелсингер.

Одним из ключевых шагов станет превращение Intel Foundry в независимую дочернюю компанию внутри Intel. «Такая структура обеспечит нашим клиентам и поставщикам Foundry большую прозрачность и независимость от остального Intel, — пояснил Гелсингер. — Это также позволит Intel Foundry активнее привлекать внешнее финансирование и оптимизировать свою капитальную структуру для ускорения роста ».

Компания также пересматривает свои инвестиции в производство, стремясь к большей эффективности капитальных вложений, в том числе приостанавливает проекты по строительству новых фабрик в Польше и Германии на два года, ориентируясь на текущий рыночный спрос. Что касается запуска производственного центра в Малайзии, то он будет достроен, но его ввод в эксплуатацию будет синхронизирован с рыночными условиями и загрузкой существующих мощностей. При этом Intel подтверждает свою приверженность инвестициям в производство в США и продолжает реализацию проектов в Аризоне, Орегоне, Нью-Мексико и Огайо. Вместе с тем, компания намерена сместить акцент с агрессивного наращивания производственных мощностей на более гибкое и эффективное планирование, соответствующее темпам развития технологий.

Источник изображения: Intel

Одновременно с этим объявлено о расширении стратегического партнёрства с Amazon Web Services (AWS). AWS выбрала Intel Foundry для производства нового ИИ-чипа на базе передовой технологии Intel 18A, а также специализированного процессора Xeon 6 на базе Intel 3.

В рамках реструктуризации Intel также оптимизирует свой портфель продуктов, стремясь к большей интеграции и фокусировке на ключевых направлениях. «Наш главный приоритет — максимизировать ценность франшизы x86 на рынках клиентских устройств, периферийных вычислений и центров обработки данных, — подчеркнул генеральный директор. — Компания продолжит инвестировать в развитие ИИ-технологий, включая лидерство в категории ПК с искусственным интеллектом и укрепление позиций в центрах обработки данных». При этом для повышения эффективности ряд подразделений будут реорганизованы. В частности, Edge и Automotive будут объединены с CCG, а Integrated Photonics Solutions перейдёт в DCAI.

Гелсингер в своём обращении также отметил, что для достижения намеченного целевого показателя экономии в $10 млрд Intel продолжит сокращать расходы. Для этого уже предприняты определённые действия: сокращено по программе добровольного увольнения более половины штата сотрудников (примерно 15 000), планируется отказаться от примерно двух третей недвижимости по всему миру к концу года, а также продать часть доли в Altera для получения дополнительных средств. «Нам предстоит принять ещё ряд сложных решений, — признал Гелсингер. — Но все эти меры направлены на то, чтобы превратить Intel в более гибкую, простую и эффективную систему, способную успешно конкурировать на рынке и обеспечивать долгосрочный рост».

Стоит отметить, что недавно Intel получила около $3 млрд прямого финансирования в рамках федерального «Закона о чипах и науке» (CHIPS and Science Act) подписанного президентом Джо Байденом (Joe Biden) США в 2022 году.

По мере роста котировок акций многих компаний, так или иначе связанных со сферой искусственного интеллекта, растёт и некоторый скептицизм в среде инвесторов, которые считают, что высокие вложения в эту область экономики не смогут себя оправдать в сжатые сроки. Один из поставщиков TSMC выражает уверенность, что многолетний цикл роста в полупроводниковой отрасли сейчас находится в самом начале.

Источник изображения: TSMC

В интервью телеканалу Bloomberg Сюй Мин Чи (Hsu Ming-chi), генеральный директор компании Scientech, которая снабжает своей продукцией крупнейшего контрактного производителя TSMC, назвал спрос на компоненты для систем искусственного интеллекта главной движущей силой в развитии полупроводниковой отрасли на ближайшие несколько лет. По его словам, за предыдущие 20 лет рынок полупроводниковой продукции рос буквально на 8 % в год, но в сфере компонентов для систем ИИ темпы роста в дальнейшем будут гораздо выше.

«Этот бум в отрасли ИИ только начался», — пояснил Сюй Мин Чи. Крупнейший получатель выпускаемого Scientech оборудования, как он добавил, нарастил объёмы закупок за год почти в два или три раза. Во втором полугодии выручка данной компании должна последовательно увеличиться, как считает руководитель. В дальнейшем стабильность роста спроса в сегменте будет обеспечиваться появлением новых приложений, использующих искусственный интеллект. Scientech поставляет TSMC оборудование, которое компания использует при упаковке чипов по методу CoWoS. Он сейчас весьма востребован в связи с ажиотажным спросом на ускорители вычислений Nvidia, при производстве которых также применяется. По оценкам самой TSMC, тайваньская компания принимает участие в выпуске 99 % ускорителей вычислений для сферы ИИ, производимых во всём мире. В случае с Scientech причастность к этим процессам способствовала росту котировок акций на 80 % с начала текущего года.

Многие источники не раз упоминали о наличии у стартапа OpenAI амбиций по организации если не производства чипов для ускорителей вычислений, то хотя бы их разработки. По данным тайваньских СМИ, среди клиентов TSMC на передовой 1,6-нм техпроцесс A16 как раз может оказаться компания OpenAI, которая к моменту его освоения надеется располагать готовым проектом собственного чипа.

Источник изображения: Intel

Во всяком случае, об этом сообщает издание Economic Daily News. Основным заказчиком выпускаемых TSMC по технологии A16 чипов должна оказаться всё же Apple, по уже сложившейся практике и благодаря наличию у последней потребности в совершенствовании собственных мобильных процессоров. Освоить техпроцесс A16 компания TSMC рассчитывает в 2026 году, но обсуждать свои взаимоотношения с заказчиками публично она традиционно отказывается.

По данным тайваньских источников, OpenAI активно обсуждала с TSMC возможность создания специализированной фабрики исключительно под её нужды. Однако после оценки потенциальных преимуществ план создания специализированного предприятия был отложен. Разработку чипов для OpenAI ведут такие американские компании, как Broadcom и Marvell Technology, в случае с первой из них OpenAI даже может оказаться в числе её четырёх крупнейших клиентов. К слову, первые чипы OpenAI могут выпускаться TSMC по более зрелому 3-нм техпроцессу, а выбор технологии A16 уже сделан для последующих поколений.

Как отмечала TSMC ранее, 1,6-нм техпроцесс A16 по сравнению с ближайшим предшественником 2-нм N2P обеспечивает увеличение скорости переключения транзисторов на 8–10 % при неизменном напряжении, либо снижает энергопотребление на 15–20 % при том же уровне быстродействия. Плотность размещения транзисторов при этом удаётся увеличить на 10 %.

На этой неделе, как сообщает Business Korea, технический директор южнокорейского стартапа Rebellions О Чжин Ук (Oh Jin-wook) признался в намерениях ускорить вывод на рынок ускорителя вычислений Rebel Quad, который будет сочетать четыре стека памяти Samsung HBM3E с 12 ярусами в каждом. Ускоритель выйдет на рынок до конца года и будет почти полностью производиться Samsung Electronics.

Источник изображения: Rebellions

Корейская компания пытается составить конкуренцию ускорителям Nvidia и AMD, её решения также могут использоваться в системах искусственного интеллекта. Примечательно, что первое поколение ускорителей Atom компании Rebellions использовало микросхемы памяти типа GDDR6 совокупным объёмом 16 Гбайт, и новинка Rebel Quad будет первенцем марки с памятью типа HBM. Четыре стека HBM3E в 12-ярусном исполнении обеспечат совокупный объём памяти 144 Гбайт, и это позволяет изделию южнокорейского стартапа сравниться с ускорителями Nvidia семейства Blackwell.

Непосредственно чип ускорителя Rebel Quad будет выпускаться компанией Samsung по 4-нм технологии, она же займётся и упаковкой, поэтому в этом отношении подрядчик предложит Rebellions комплексные услуги. Представители стартапа подчеркнули, что сейчас не рассматривают возможность сотрудничества с TSMC. Примечательно, что недавно Rebellions поглотила конкурирующую южнокорейскую компанию Sapeon, которая использует в своих ускорителях память типа SK hynix. Впрочем, схема сотрудничества с Samsung вряд ли оставляет Rebellions возможность присматриваться к другим поставщикам памяти.

Китайские компании нашли «дыру» в законодательстве США, получая доступ к передовым американским технологиям ИИ через облачные сервисы, такие как Amazon Web Services (AWS). Расследование Reuters показало, что минимум 11 китайских компаний, связанных с государственными структурами, обходят санкции, покупая доступ к запрещённым чипам и моделям ИИ через AWS.

Источник изображения: Copilot

Согласно недавно опубликованным тендерным документам, китайские организации используют облачные сервисы Amazon и сервисы других компаний для доступа к передовым американским чипам и возможностям искусственного интеллекта, которые они не могут приобрести иным способом. Известно, что правительство США ограничило экспорт передовых ИИ-чипов в Китай. Однако предоставление доступа к таким чипам или продвинутым ИИ-моделям через облако не является нарушением американских правил.

Выяснилось, что по меньшей мере 11 китайских организаций, включая Шэньчжэньский университет и исследовательский институт Zhejiang Lab, стремились получить доступ к облачным сервисам, предоставляющим запрещённые чипы Nvidia. В одном из тендеров указано, что Шэньчжэньский университет потратил 200 000 юаней ($27 996) за аккаунт AWS для получения доступа к облачным серверам на базе чипов Nvidia A100 и H100 для неуточнённого проекта, получив эту услугу через посредника, компанию Yunda Technology. Институт Zhejiang Lab, разрабатывающий собственную модель ИИ GeoGPT, заявил в тендере в апреле о намерении потратить 184 000 юаней ($25 782) на услуги облачных вычислений AWS, так как его ИИ-модель не получала достаточной вычислительной мощности от местного поставщика услуг Alibaba.

Источник изображения: aboutamazon.com

Правительство США в настоящее время пытается ужесточить правила, чтобы ограничить доступ через облако. «Эта лазейка беспокоит меня уже много лет, и нам давно пора её устранить», — заявил Майкл Маккол (Michael McCaul), председатель Комитета по иностранным делам Палаты представителей США. При этом, в настоящий момент AWS не нарушает правил, установленных правительством США. «AWS соблюдает все применимые законы США, включая торговые законы, в отношении предоставления услуг AWS внутри и за пределами Китая», — заявил представитель облачного подразделения Amazon.

Расследование Reuters также выявило, что Китай обходит ограничения США, закупая доступ к облачным сервисам Microsoft и OpenAI. В частности, Сычуаньский университет приобрёл 40 миллионов токенов Azure OpenAI, а Сучжоуский институт передовых исследований при Научно-техническом университете Китая (USTC) арендовал 500 облачных серверов, оснащённых чипами Nvidia A100. Несмотря на то, что Microsoft и OpenAI официально не поддерживают свои сервисы в Китае, а USTC находится в чёрном списке Минторга США, китайские компании получают доступ к технологиям через их облако.

Также выяснилось, что Amazon не только предоставляет организациям из Поднебесной доступ к передовым чипам для ИИ, но и открывает возможность использования ИИ-моделей, таких как Claude от Anthropic. Для этого компания активно продвигает свои облачные сервисы на китайском рынке, подчёркивая доступность «лучших в мире моделей ИИ» для клиентов в регионе.

Компания Ola Electric, один из крупнейших производителей электрических двухколёсных транспортных средств в Индии, объявила о запуске своих собственных ИИ-чипов. Ожидается, что первые три чипа появятся на рынке в 2026 году, а четвёртый — Bodhi 2, будет запущен в 2028 году. Эти чипы станут первыми чипами для моделей искусственного интеллекта, разработанными в Индии, и на них уже наблюдается спрос на местном рынке.

Источник изображения: Ola Electric/YouTube

Как сообщает издание Tom's Hardware, первоначально Ola Electric представила три чипа — Bodhi 1, Ojas и Sarv 1. Чип Bodhi 1 предназначен для ИИ и подходит для работы с большими языковыми моделями (LLM) и визуальными моделями. Компания утверждает, что Bodhi 1 обеспечивает «лучшую в своём классе производительность», что является одним из важнейших факторов обработки данных в области искусственного интеллекта. Sarv 1 и Ojas предназначен для работы в дата-центрах.

Также разработан чип Ojas Edge для специфических приложений, который может быть адаптирован под различные сферы, включая автомобильную, мобильную и IoT-технологии (Интернет вещей). Ola планирует внедрить Ojas Edge в свои новые электрические транспортные средства для управления системой зарядки и помощи водителю (ADAS).

На презентации компания показала, что все прототипы этих чипов обеспечивают более высокую производительность и энергоэффективность по сравнению с GPU от Nvidia. Однако какой именно графический процессор использовался и точные параметры сравнения не раскрываются.

Эксперты отмечают, что этот шаг отражает стремление Индии включиться в глобальную гонку ИИ-технологий, в которой сейчас лидируют США и Китай. С учётом того, что Индия, как самая густонаселённая страна в мире, обладает огромным потенциалом талантов и технических специалистов, которых она может использовать для развития своих ИИ-технологий, её участие в мировом процессе в этом направлении вряд ли может вызвать сомнения.

Как выясняется, среди вероятных партнёров Intel то и дело находились инициативные компании, готовые поручить ей выпуск передовых ускорителей для систем искусственного интеллекта. Помимо упущенной возможности сотрудничать с OpenAI в этой сфере, Intel также не стала сближаться с японской корпорацией SoftBank, которой принадлежит британский разработчик процессорных архитектур Arm.

Источник изображения: Intel

Издание Financial Times выяснило, что в течение нескольких предыдущих месяцев SoftBank пыталась договориться с Intel о выпуске специализированных ИИ-чипов, разработанных выходцами из купленной ею компании Graphcore. В данной ситуации Intel должна была выступать в роли контрактного производителя чипов. После того, как переговоры с Intel привели к неудовлетворительному результату, SoftBank решила сосредоточиться на переговорах с TSMC.

Если бы сотрудничество с Intel состоялось, как продолжают источники, SoftBank смогла бы претендовать на часть американских субсидий по так называемому «Закону о чипах», поскольку выпуск соответствующих компонентов для её нужд осуществлялся бы на территории США. Как утверждает источник, переговоры SoftBank с Intel развалились по вине последней из сторон. По крайней мере, на этом настаивает первая из них. Заказчика не устраивали возможности Intel в части скорости выпуска чипов и объёма их производства. Тем не менее, учитывая высокую загруженность TSMC подобными заказами, Intel с точки зрения SoftBank всё ещё не списывается со счетов.

Руководство SoftBank рассчитывало привлечь к финансированию данной инициативы потенциальных покупателей подобных ускорителей, созданных с использованием разработок Graphcore. Выход SoftBank в этот сегмент рынка мог бы навредить отношениям Arm и Nvidia, поскольку последняя является крупным клиентом этого британского холдинга. Впрочем, сейчас рынок компонентов для ИИ является лакомым кусочком для многих компаний, и потенциальная выгода могла бы компенсировать подобный риск. SoftBank не теряет надежды создать прототипы собственного ускорителя в ближайшие месяцы, но рассчитывать на возможности TSMC в этой сфере затруднительно из-за высокой нагрузки на эту тайваньскую компанию. Intel была бы полезна SoftBank в этом случае и своими компетенциями в разработке чипов, а не только как контрактный производитель. Проект, финансирование которого потребовало бы многих десятков миллиардов долларов США, планировалось реализовать с участием арабских инвесторов. Недавно стало известно, что Intel избавилась от купленных в прошлом году акций Arm, чтобы максимально мобилизовать собственные финансовые ресурсы.

По всей видимости, готовность Nvidia играть в «регуляторную чехарду» с американскими властями, которые регулярно усиливают экспортные ограничения на поставку ускорителей вычислений в Китай, имеет свои разумные пределы. Подготовленные для этой страны ускорители B20 с архитектурой Blackwell могут задержаться на пути к китайским клиентам из-за опасения новых санкций США.

Источник изображения: Nvidia

Когда власти США в октябре 2022 года ввели ограничения на экспорт в Китай ускорителей вычислений определённого уровня производительности, Nvidia достаточно оперативно предложила своим китайским клиентам адаптированные под эти требования ускорители A800 и H800, основанные на архитектуре Ampere и Hopper соответственно. Годом позже они тоже попали под новую волную санкций США, и тогда компания предложила китайским клиентам адаптированные уже под новые требования ускорители H20, L20 и L2. Желая предоставить китайским клиентам доступ к новейшей архитектуре Blackwell, она, как утверждают слухи, сейчас готовит к анонсу ускорители B20, но из-за неопределённости с дальнейшей политикой США в сфере экспортного контроля не торопится начинать их поставки в Китай.

Об этом на текущей неделе сообщило издание South China Morning Post со ссылкой на собственные источники. Первоначально Nvidia планировала начать поставки ускорителей B20 китайским клиентам в четвёртом квартале текущего года, но теперь не спешит это делать из-за опасений по поводу введения новых санкций, которые поставят под сомнение саму возможность таких поставок. Даже ограниченные на уровне удельной производительности каждого ускорителя B20 сохраняют привлекательность для китайских клиентов, поскольку позволяют эффективно масштабировать быстродействие путём объединения множества ускорителей на уровне кластера.

Издание The Information попутно сообщило о подготовке компанией Nvidia адаптированного для Китая ускорителя GB20, который базируется на усечённом GB200. Помимо собственно графических процессоров, такие ускорители используют и разработанные Nvidia центральные процессоры семейства Grace, основанные на Arm-совместимой архитектуре.

В 2015 году Amazon поглотила компанию Annapurna Labs, силами выходцев из которой сейчас разрабатывает собственные ускорители вычислений для систем искусственного интеллекта. Об этом стало известно на этой неделе со слов руководителя профильного подразделения AWS во время визита журналистов в лабораторию в Техасе.

Источник изображения: AWS

Как отмечает Reuters, работой над созданием специализированных чипов для нужд Amazon в данном исследовательском центре занимается около шести инженеров. Их работа тщательно засекречена, но AWS уже располагает прототипами данных ускорителей, которые работают в серверной стойке, расположенной в лаборатории. Руководит этой деятельностью Рами Синно (Rami Sinno), который обладает опытом работы в Arm, Calxeda, Freescale Semiconductor, Marvell и Intel.

Amazon намеревается снизить степень своей зависимости от Nvidia, которая фактически монополизировала рынок ускорителей вычислений, и для крупного игрока облачного сегмента, коим является AWS, подобная инициатива может сэкономить какое-то количество средств в конечном итоге. Принято считать, что Microsoft и Alphabet (Google) тоже создают свои ускорители вычислений. По словам Рами Синно, клиенты AWS всё чаще требуют более дешёвых альтернатив решениям Nvidia.

По словам вице-президента AWS по вычислениям и сетевым решениям Дэвида Брауна (David Brown), компания верит, что можно добиться улучшения соотношения цены и быстродействия вычислительных компонентов на 40–50 % относительно предложений Nvidia. Сейчас AWS контролирует почти треть рынка облачных услуг, на долю Microsoft Azure приходится примерно 25 %. Amazon уже внедрила в своей инфраструктуре 80 000 чипов собственной разработки для ускорения ИИ. Сопутствующие процессоры Graviton сейчас эксплуатируются в количестве 250 000 штук, но они не имеют специализированных функций для ускорения работы систем искусственного интеллекта.

В плане своей способности поставлять клиентам ускорители вычислений Nvidia зависит от TSMC не только с точки зрения обработки кремниевых пластин, но и на этапе компоновки чипов с использованием уникального метода пространственной упаковки CoWoS. Попытки руководства первой из компаний получить для этих нужд выделенные производственные мощности TSMC не увенчались успехом, если верить слухам.

Источник изображения: Nvidia

Данную информацию публикует ресурс Mirror Media, ссылаясь на подробности о программе визита основателя Nvidia Дженсена Хуанга (Jensen Huang) на Тайвань в июне этого года. По данным источников, тогда у него состоялась встреча не только с отошедшим от дел основателем TSMC Моррисом Чаном (Morris Chang), но и действующим руководителем компании Си-Си Вэем (C.C. Wei). Глава Nvidia в тот момент, если верить слухам, попросил у TSMC выделить под нужды его компании отдельную производственную линию, на которой будут упаковываться ИИ-чипы этой марки, но получил отказ от представителей тайваньского подрядчика. Исход переговоров создал некоторую напряжённость в отношениях между компаниями, как отмечают источники, но нынешний председатель совета директоров Си-Си Вэй сделал всё возможное, чтобы загладить последствия.

На недавней квартальной конференции руководство TSMC признало, что компания не сможет удовлетворить спрос на выпуск компонентов для систем искусственного интеллекта как минимум до 2026 года. При этом тайваньский производитель до сих пор не может найти баланс спроса и предложения, но старается рационально определять размер необходимых капитальных затрат. По всей видимости, вложения в производственную линию для упаковки чипов Nvidia на данном этапе кажутся руководству TSMC нерациональными. Тем более, что норма прибыли в этой сфере услуг приближается к средней по компании, не обеспечивая каких-то впечатляющих преимуществ. Как отмечается, отказ TSMC был мотивирован возможными последствиями для отношений компании с другими клиентами, которые также захотели бы добиться определённых привилегий. Сохраняя равные для всех клиентов условия, TSMC может обеспечить более предсказуемую ситуацию с масштабированием производственных мощностей.

В прошлом, как отмечают знакомые с практикой дел TSMC источники, эта компания предоставляла крупным клиентам определённые привилегии. Например, Apple в своё время попросила предоставить ей выделенные линии по выпуску чипов, и TSMC пошла на это, но в тот период тайваньский производитель сильно зависел от заказов Apple и не мог пренебрегать такой возможностью оптимальным образом загрузить свой конвейер. В случае с Nvidia ситуация заметно отличается. Как ожидается, TSMC не сможет покрыть потребности рынка в мощностях по упаковке чипов по методу CoWoS даже к концу следующего года, поскольку спрос будет расти опережающими темпами. Подобное положение на рынке, близкое к монопольному, позволяет TSMC более жёстко отстаивать свои интересы в переговорах с заказчиками. Это заметно даже по высказываниям Си-Си Вэя, который недавно признался, что хотел бы брать с той же Nvidia больше денег за услуги TSMC.

Амбиции руководства OpenAI в сфере разработки и производства собственных ускорителей для систем искусственного интеллекта не являются секретом, и накануне издание The Information сообщило, что компания вела переговоры о разработке соответствующего чипа с Broadcom. Акции последней на этом фоне успели вырасти в цене на 3 %.

Источник изображения: Shutterstock

Как отмечает источник, Broadcom была лишь одним из разработчиков, с которыми вела переговоры OpenAI. Среди вовлечённых в процесс оказались и выходцы из Google, имеющие опыт разработки процессоров семейства Tensor. Некоторых из них OpenAI успела нанять для реализации соответствующих собственных замыслов. Перед специалистами ставилась задача по разработке ускорителей серверного класса для систем искусственного интеллекта.

Глава OpenAI Сэм Альтман (Sam Altman) не раз жаловался на нехватку аппаратной инфраструктуры для подобающего его планам развития систем искусственного интеллекта. Его компания могла бы оказать содействие партнёрам в строительстве не только центров обработки данных, но и предприятий по выпуску компонентов, а также электростанций. В составе Broadcom имеется подразделение, разрабатывающее чипы с учётом пожеланий конкретных заказчиков.

Если бы проект OpenAI удалось реализовать, то процессор Broadcom начал выпускаться не ранее 2026 года в лучшем случае. Попутно руководству OpenAI пришлось вести переговоры с Samsung и SK hynix по поводу оснащения соответствующих ускорителей памятью типа HBM. Выпускать чип OpenAI планировала на мощностях компании TSMC, причём Альтман вёл с последней переговоры и об увеличении объёмов выпуска чипов Nvidia, которые OpenAI также активно использует.

Ассоциация JEDEC опубликовала предварительную спецификацию памяти HBM4 четвёртого поколения, которая обещает значительное увеличение объёма и пропускной способности для систем искусственного интеллекта и высокопроизводительных вычислений.

Источник изображения: AMD

JEDEC представила спецификацию памяти HBM4 (High-Bandwidth Memory) нового поколения, приближаясь к завершению разработки нового стандарта DRAM, сообщает Tom's Hardware. Согласно опубликованным данным, HBM4 будет поддерживать 2048-битный интерфейс на стек, хотя и с более низкой скоростью передачи данных по сравнению с HBM3E. Кроме того, новый стандарт предусматривает более широкий диапазон слоёв памяти, что позволит лучше адаптировать её для различных типов приложений.

Новый стандарт HBM4 будет поддерживать стеки объёмом 24 Гбайт и 32 Гбайт, а также предложит конфигурации для 4-, 8-, 12- и 16-слойных стеков с вертикальными межсоединениями TSV. Комитет JEDEC предварительно согласовал скоростные режимы до 6,4 Гт/с, но при этом ведутся дискуссии о возможности достижения ещё более высокой скорости передачи данных.

16-слойный стек на основе 32-гигабитных чипов сможет обеспечить ёмкость 64 Гбайт, то есть в этом случае процессор с четырьмя модулями памяти сможет поддерживать 256 Гбайт памяти с пиковой пропускной способностью 6,56 Тбайт/с при использовании 8192-битного интерфейса.

Несмотря на то, что HBM4 будет иметь удвоенное количество каналов на стек по сравнению с HBM3 и больший физический размер для обеспечения совместимости, один контроллер сможет работать как с HBM3, так и с HBM4. Однако для размещения различных формфакторов потребуются разные подложки. Интересно, что JEDEC не упомянула о возможности интеграции памяти HBM4 непосредственно в процессоры, что, пожалуй, является наиболее интригующим аспектом нового типа памяти.

Ранее компании SK hynix и TSMC объявили о сотрудничестве в разработке базовых кристаллов HBM4, а несколько позднее на Европейском симпозиуме 2024, TSMC подтвердила, что будет использовать свои технологические процессы 12FFC+ (12-нм класс) и N5 (5-нм класс) для производства этих кристаллов.

Процесс N5 от TSMC позволяет интегрировать больше логики и функций, с шагом межсоединений от 9 до 6 микрон, что критически важно для интеграции на кристалле. Процесс 12FFC+, основанный на 16-нм FinFET-технологии TSMC, обеспечит производство экономически эффективных базовых кристаллов, соединяющих память с хост-процессорами с помощью кремниевых подложек.

Отметим, что HBM4 в первую очередь разработана для потребностей генеративного искусственного интеллекта и высокопроизводительных вычислений, которые требуют обработки очень больших объёмов данных и выполнения сложных вычислений. Поэтому маловероятно, что мы увидим HBM4 в клиентских приложениях, таких как GPU. Компания SK hynix рассчитывает наладить выпуск HBM4 в 2026 году.