В 2015 году Amazon поглотила компанию Annapurna Labs, силами выходцев из которой сейчас разрабатывает собственные ускорители вычислений для систем искусственного интеллекта. Об этом стало известно на этой неделе со слов руководителя профильного подразделения AWS во время визита журналистов в лабораторию в Техасе.

Источник изображения: AWS

Как отмечает Reuters, работой над созданием специализированных чипов для нужд Amazon в данном исследовательском центре занимается около шести инженеров. Их работа тщательно засекречена, но AWS уже располагает прототипами данных ускорителей, которые работают в серверной стойке, расположенной в лаборатории. Руководит этой деятельностью Рами Синно (Rami Sinno), который обладает опытом работы в Arm, Calxeda, Freescale Semiconductor, Marvell и Intel.

Amazon намеревается снизить степень своей зависимости от Nvidia, которая фактически монополизировала рынок ускорителей вычислений, и для крупного игрока облачного сегмента, коим является AWS, подобная инициатива может сэкономить какое-то количество средств в конечном итоге. Принято считать, что Microsoft и Alphabet (Google) тоже создают свои ускорители вычислений. По словам Рами Синно, клиенты AWS всё чаще требуют более дешёвых альтернатив решениям Nvidia.

По словам вице-президента AWS по вычислениям и сетевым решениям Дэвида Брауна (David Brown), компания верит, что можно добиться улучшения соотношения цены и быстродействия вычислительных компонентов на 40–50 % относительно предложений Nvidia. Сейчас AWS контролирует почти треть рынка облачных услуг, на долю Microsoft Azure приходится примерно 25 %. Amazon уже внедрила в своей инфраструктуре 80 000 чипов собственной разработки для ускорения ИИ. Сопутствующие процессоры Graviton сейчас эксплуатируются в количестве 250 000 штук, но они не имеют специализированных функций для ускорения работы систем искусственного интеллекта.

В плане своей способности поставлять клиентам ускорители вычислений Nvidia зависит от TSMC не только с точки зрения обработки кремниевых пластин, но и на этапе компоновки чипов с использованием уникального метода пространственной упаковки CoWoS. Попытки руководства первой из компаний получить для этих нужд выделенные производственные мощности TSMC не увенчались успехом, если верить слухам.

Источник изображения: Nvidia

Данную информацию публикует ресурс Mirror Media, ссылаясь на подробности о программе визита основателя Nvidia Дженсена Хуанга (Jensen Huang) на Тайвань в июне этого года. По данным источников, тогда у него состоялась встреча не только с отошедшим от дел основателем TSMC Моррисом Чаном (Morris Chang), но и действующим руководителем компании Си-Си Вэем (C.C. Wei). Глава Nvidia в тот момент, если верить слухам, попросил у TSMC выделить под нужды его компании отдельную производственную линию, на которой будут упаковываться ИИ-чипы этой марки, но получил отказ от представителей тайваньского подрядчика. Исход переговоров создал некоторую напряжённость в отношениях между компаниями, как отмечают источники, но нынешний председатель совета директоров Си-Си Вэй сделал всё возможное, чтобы загладить последствия.

На недавней квартальной конференции руководство TSMC признало, что компания не сможет удовлетворить спрос на выпуск компонентов для систем искусственного интеллекта как минимум до 2026 года. При этом тайваньский производитель до сих пор не может найти баланс спроса и предложения, но старается рационально определять размер необходимых капитальных затрат. По всей видимости, вложения в производственную линию для упаковки чипов Nvidia на данном этапе кажутся руководству TSMC нерациональными. Тем более, что норма прибыли в этой сфере услуг приближается к средней по компании, не обеспечивая каких-то впечатляющих преимуществ. Как отмечается, отказ TSMC был мотивирован возможными последствиями для отношений компании с другими клиентами, которые также захотели бы добиться определённых привилегий. Сохраняя равные для всех клиентов условия, TSMC может обеспечить более предсказуемую ситуацию с масштабированием производственных мощностей.

В прошлом, как отмечают знакомые с практикой дел TSMC источники, эта компания предоставляла крупным клиентам определённые привилегии. Например, Apple в своё время попросила предоставить ей выделенные линии по выпуску чипов, и TSMC пошла на это, но в тот период тайваньский производитель сильно зависел от заказов Apple и не мог пренебрегать такой возможностью оптимальным образом загрузить свой конвейер. В случае с Nvidia ситуация заметно отличается. Как ожидается, TSMC не сможет покрыть потребности рынка в мощностях по упаковке чипов по методу CoWoS даже к концу следующего года, поскольку спрос будет расти опережающими темпами. Подобное положение на рынке, близкое к монопольному, позволяет TSMC более жёстко отстаивать свои интересы в переговорах с заказчиками. Это заметно даже по высказываниям Си-Си Вэя, который недавно признался, что хотел бы брать с той же Nvidia больше денег за услуги TSMC.

Амбиции руководства OpenAI в сфере разработки и производства собственных ускорителей для систем искусственного интеллекта не являются секретом, и накануне издание The Information сообщило, что компания вела переговоры о разработке соответствующего чипа с Broadcom. Акции последней на этом фоне успели вырасти в цене на 3 %.

Источник изображения: Shutterstock

Как отмечает источник, Broadcom была лишь одним из разработчиков, с которыми вела переговоры OpenAI. Среди вовлечённых в процесс оказались и выходцы из Google, имеющие опыт разработки процессоров семейства Tensor. Некоторых из них OpenAI успела нанять для реализации соответствующих собственных замыслов. Перед специалистами ставилась задача по разработке ускорителей серверного класса для систем искусственного интеллекта.

Глава OpenAI Сэм Альтман (Sam Altman) не раз жаловался на нехватку аппаратной инфраструктуры для подобающего его планам развития систем искусственного интеллекта. Его компания могла бы оказать содействие партнёрам в строительстве не только центров обработки данных, но и предприятий по выпуску компонентов, а также электростанций. В составе Broadcom имеется подразделение, разрабатывающее чипы с учётом пожеланий конкретных заказчиков.

Если бы проект OpenAI удалось реализовать, то процессор Broadcom начал выпускаться не ранее 2026 года в лучшем случае. Попутно руководству OpenAI пришлось вести переговоры с Samsung и SK hynix по поводу оснащения соответствующих ускорителей памятью типа HBM. Выпускать чип OpenAI планировала на мощностях компании TSMC, причём Альтман вёл с последней переговоры и об увеличении объёмов выпуска чипов Nvidia, которые OpenAI также активно использует.

Ассоциация JEDEC опубликовала предварительную спецификацию памяти HBM4 четвёртого поколения, которая обещает значительное увеличение объёма и пропускной способности для систем искусственного интеллекта и высокопроизводительных вычислений.

Источник изображения: AMD

JEDEC представила спецификацию памяти HBM4 (High-Bandwidth Memory) нового поколения, приближаясь к завершению разработки нового стандарта DRAM, сообщает Tom's Hardware. Согласно опубликованным данным, HBM4 будет поддерживать 2048-битный интерфейс на стек, хотя и с более низкой скоростью передачи данных по сравнению с HBM3E. Кроме того, новый стандарт предусматривает более широкий диапазон слоёв памяти, что позволит лучше адаптировать её для различных типов приложений.

Новый стандарт HBM4 будет поддерживать стеки объёмом 24 Гбайт и 32 Гбайт, а также предложит конфигурации для 4-, 8-, 12- и 16-слойных стеков с вертикальными межсоединениями TSV. Комитет JEDEC предварительно согласовал скоростные режимы до 6,4 Гт/с, но при этом ведутся дискуссии о возможности достижения ещё более высокой скорости передачи данных.

16-слойный стек на основе 32-гигабитных чипов сможет обеспечить ёмкость 64 Гбайт, то есть в этом случае процессор с четырьмя модулями памяти сможет поддерживать 256 Гбайт памяти с пиковой пропускной способностью 6,56 Тбайт/с при использовании 8192-битного интерфейса.

Несмотря на то, что HBM4 будет иметь удвоенное количество каналов на стек по сравнению с HBM3 и больший физический размер для обеспечения совместимости, один контроллер сможет работать как с HBM3, так и с HBM4. Однако для размещения различных формфакторов потребуются разные подложки. Интересно, что JEDEC не упомянула о возможности интеграции памяти HBM4 непосредственно в процессоры, что, пожалуй, является наиболее интригующим аспектом нового типа памяти.

Ранее компании SK hynix и TSMC объявили о сотрудничестве в разработке базовых кристаллов HBM4, а несколько позднее на Европейском симпозиуме 2024, TSMC подтвердила, что будет использовать свои технологические процессы 12FFC+ (12-нм класс) и N5 (5-нм класс) для производства этих кристаллов.

Процесс N5 от TSMC позволяет интегрировать больше логики и функций, с шагом межсоединений от 9 до 6 микрон, что критически важно для интеграции на кристалле. Процесс 12FFC+, основанный на 16-нм FinFET-технологии TSMC, обеспечит производство экономически эффективных базовых кристаллов, соединяющих память с хост-процессорами с помощью кремниевых подложек.

Отметим, что HBM4 в первую очередь разработана для потребностей генеративного искусственного интеллекта и высокопроизводительных вычислений, которые требуют обработки очень больших объёмов данных и выполнения сложных вычислений. Поэтому маловероятно, что мы увидим HBM4 в клиентских приложениях, таких как GPU. Компания SK hynix рассчитывает наладить выпуск HBM4 в 2026 году.

Компания AMD объявила о соглашении по приобретению финской компании Silo AI, ведущего европейского разработчика специализированных систем искусственного интеллекта. Сумма сделки составила 665 млн долларов. Это приобретение укрепит позиции AMD на быстрорастущем рынке специализированного ПО и сервисов, связанных с ИИ, и поможет сократить отставание от лидера отрасли в лице Nvidia.

Источник изображения: Timothy Dykes / Unsplash

По сообщению Bloomberg, базирующаяся в Хельсинки Silo AI позиционирует себя как крупнейшая частная лаборатория ИИ в Европе. При этом компания специализируется на создании ИИ-моделей и систем, адаптированных под конкретные потребности заказчиков, среди которых такие гиганты как Allianz SE, Unilever Plc и подразделение BMW Rolls-Royce. Согласно заявлению AMD, генеральный директор Silo AI Питер Сарлин (Peter Sarlin) продолжит руководить своей командой, которая войдёт в состав группы искусственного интеллекта AMD.

AMD рассматривается как ближайший потенциальный конкурент Nvidia на быстрорастущем рынке оборудования для систем ИИ. Графические процессоры, на которых специализируются обе компании, оказались наиболее эффективным средством для обучения больших языковых моделей (LLM), лежащих в основе таких сервисов, как ChatGPT от OpenAI и Copilot от Microsoft.

Старший вице-президент AMD Вамси Боппана (Vamsi Boppana) подчеркнул, что опыт команды Silo AI в разработке передовых ИИ-моделей и решений, включая современные языковые модели, работающие на платформах AMD, ускорит реализацию ИИ-стратегии компании и внедрение ИИ-решений для глобальных клиентов.

Важно отметить, что AMD относительно недавно вышла на рынок специализированных систем ИИ и стремительно наращивает свой аппаратный и программный потенциал. Под руководством генерального директора Лизы Су (Lisa Su) компания недавно представила линейку ускорителей MI300 и прогнозирует выручку от ИИ-ускорителей в размере около $4 млрд в этом году. Для сравнения, Nvidia ожидает получить более 100 миллиардов долларов в текущем году только от производства чипов для центров обработки данных.

Относительно финансовых показателей Bloomberg пишет, что с начала 2024 года акции AMD выросли примерно на 20 %, отставая от 38-% роста индекса полупроводников Филадельфийской фондовой биржи и 165-% роста Nvidia. Несмотря на это, рыночная капитализация AMD в $286 млрд близка к историческому максимуму.

Технологические гиганты и стартапы переходят на более компактные и эффективные модели искусственного интеллекта, стремясь сократить расходы и повысить производительность. Эти модели, в отличие от своих «старших братьев», таких как GPT-4, могут обучаться на меньшем объёме данных и специализируются на решении конкретных задач.

Источник изображения: Copilot

Microsoft, Google, Apple и стартапы, такие как Mistral, Anthropic и Cohere, всё чаще обращаются к малым и средним языковым моделям искусственного интеллекта. В отличие от больших моделей (LLM), таких как GPT-4 от OpenAI, которые используют более одного триллиона параметров и их разработка оценивается далеко за 100 миллионов долларов, компактные модели обучаются на более узких наборах данных и могут стоить менее 10 миллионов долларов, при этом используя менее 10 миллиардов параметров.

Компания Microsoft, один из лидеров в области ИИ, представила семейство небольших моделей под названием Phi. По словам генерального директора компании Сатьи Наделлы (Satya Nadella), эти модели в 100 раз меньше бесплатной версии ChatGPT, но при этом справляются со многими задачами почти так же эффективно. Юсуф Мехди (Yusuf Mehdi), коммерческий директор Microsoft, отметил, что компания быстро осознала, что эксплуатация крупных моделей ИИ обходится дороже, чем предполагалось изначально, что побудило Microsoft искать более экономичные решения.

Другие технологические гиганты также не остались в стороне. Google, Apple, а также Mistral, Anthropic и Cohere выпустили свои версии малых и средних моделей. Apple, в частности, планирует использовать такие модели для запуска ИИ локально, непосредственно на смартфонах, что должно повысить скорость работы и безопасность. При этом потребление ресурсов на смартфонах будет минимальным.

Эксперты отмечают, что для многих задач, таких как обобщение документов или создание изображений, большие модели вообще могут оказаться избыточными. Илья Полосухин, один из авторов основополагающей статьи Google в 2017 году, касающейся искусственного интеллекта, образно сравнил использование больших моделей для простых задач с поездкой в магазин за продуктами на танке. «Для вычисления 2 + 2 не должны требоваться квадриллионы операций», — подчеркнул он.

Компании и потребители также ищут способы снизить затраты на эксплуатацию генеративных технологий ИИ. По словам Йоава Шохама (Yoav Shoham), соучредителя ИИ-компании AI21 Labs из Тель-Авива, небольшие модели могут отвечать на вопросы, если перевести всё в деньги, всего за одну шестую стоимости больших языковых моделей.

Интересно, что ключевым преимуществом малых моделей является возможность их тонкой настройки под конкретные задачи и наборы данных. Это позволяет им эффективно работать в специализированных областях при меньших затратах, например, только в юридической отрасли.

Однако эксперты отмечают, что компании не собираются полностью отказываться от LLM. Например, Apple объявила об интеграции ChatGPT в Siri для выполнения сложных задач, а Microsoft планирует использовать последнюю модель OpenAI в новой версии Windows. А такие компании как Experian из Ирландии и Salesforce из США, уже перешли на использование компактных моделей ИИ для чат-ботов и обнаружили, что они обеспечивают такую же производительность, как и большие модели, но при значительно меньших затратах и с меньшими задержками обработки данных.

Переход к малым моделям происходит на фоне замедления прогресса в области больших публично доступных моделей искусственного интеллекта. Эксперты связывают это с нехваткой высококачественных новых данных для обучения, и в целом, указывают на новый и важный этап эволюции индустрии.

В стремлении снизить зависимость от зарубежных поставщиков и обойти ограничения, наложенные США, компания Huawei совместно с другими китайскими производителями микросхем начала работу над созданием передовой памяти с высокой пропускной способностью, более известной как HBM.

Huawei заключил партнёрское соглашение с местным производителем чипов Wuhan Xinxin Semiconductor Manufacturing для разработки стеков памяти HBM. Память данного типа стала критически важным компонентом вычислительной инфраструктуры, используемой в проектах искусственного интеллекта (ИИ).

По данным китайского издания South China Morning Post, в проекте также участвуют компании Jiangsu Changjiang Electronics Tech и Tongfu Microelectronics, специализирующиеся на упаковке чипов. Они начнут разработку передовой технологии Chip on Wafer on Substrate, позволяющую объединять различные типы полупроводников, таких как графические процессоры и чипы HBM, в одном корпусе.

Выход Huawei на рынок чипов HBM является очередной попыткой компании обойти технологические санкции Вашингтона. И хотя Китай все ещё находится на ранней стадии разработки чипов HBM, аналитики и отраслевые источники ожидают пристального внимания к прогрессу страны в этой сфере. Интересно, что в августе прошлого года Huawei удивила рынок, выпустив смартфон 5G на базе 7-нанометрового процессора, несмотря на существующие ограничения на доступ к технологиям — по задумке США, возможности выпускать такие чипы у Huawei быть не должно было вовсе.

В мае источники сообщали, что ChangXin Memory Technologies, крупнейший в Китае производитель DRAM, разработал образцы чипов HBM в партнёрстве с Tongfu Microelectronics. В апреле также появилась информация о планах группы китайских фирм во главе с Huawei нарастить внутреннее производство чипов HBM к 2026 году. Одновременно Wuhan Xinxin, ключевой партнёр Huawei в этом проекте, в марте объявила тендер на строительство передового производственного объекта для выпуска памяти HBM с мощностью для обработки 3 тыс. 300-мм пластин в месяц, а двумя месяцами позже компания подала заявку на публичное размещение своих акций.

Все эти события происходят на фоне растущих инвестиций Китая в полупроводниковую промышленность. Так, недавно дочерняя компания ведущего китайского производителя микросхем флэш-памяти Yangtze Memory Technologies увеличила свою капитализацию на 46 % до 8,5 млрд юаней (1,2 млрд долларов США) благодаря новым инвесторам, включая поддерживаемый государством Китайский фонд интернет-инвестиций.

Huawei и Wuhan Xinxin пока не прокомментировали информацию о сотрудничестве, но эксперты ожидают, что развитие событий в этой области может существенно повлиять на глобальный рынок полупроводников и технологий искусственного интеллекта.

Производители чипов для задач искусственного интеллекта и компании, специализирующиеся на системах ИИ, продемонстрировали значительный рост рыночной капитализации в июне. Лидером этого роста стала Nvidia, обогнав при этом Microsoft и на время став самой дорогой компанией в мире.

Источник изображения: BoliviaInteligente / Unsplash

По данным Reuters, акции Nvidia выросли на впечатляющие 27 % в июне, в результате чего рыночная капитализация компании достигла 3,34 трлн долларов. Однако позднее акции компании несколько опустились из-за опасений инвесторов по поводу слишком высокой оценки компании. В итоге Nvidia откатилась на третьей место среди компаний с крупнейшей капитализацией.

Другие технологические гиганты также показали рост. Рыночная капитализация Microsoft увеличилась на 7,6 %, а Apple на 9,6 %. Кроме того, Amazon.com достигла рыночной стоимости в 2 триллиона долларов, став пятой американской компанией, преодолевшей этот рубеж. Всё благодаря интересу инвесторов к технологиям искусственного интеллекта.

Особого внимания заслуживает успех ещё одного производителя чипов, компании Broadcom, чья рыночная стоимость выросла примерно на 20 % за последний месяц. Этому способствовал прогноз по увеличению годового дохода от чипов, связанных с ИИ, а также объявление о дроблении акций для извлечения выгоды в текущем году.

Источник изображения: Reuters

Эксперты связывают этот рост с растущим энтузиазмом инвесторов по поводу развития технологий искусственного интеллекта и их потенциального влияния на различные отрасли экономики.