В 1965 году один из основателей корпорации Intel Гордон Мур (Gordon Moore) в своей статье в одном из отраслевых изданий сделал предсказание о способности полупроводниковой промышленности удваивать количество транзисторов на кристалле фиксированной площади каждые два года. В этом году этому эмпирическому правилу исполнилось 60 лет, и отступать от него производители чипов не собираются.

Источник изображения: ASML

Компания ASML, которая снабжает производителей полупроводниковых компонентов литографическим оборудованием, о годовщине данного эмпирического правила напомнила на своём канале YouTube, опубликовав выдержку из архивного интервью с самим Гордоном Муром, который ушёл из жизни пару лет назад.

На видео он вспоминает обстоятельства, при которых закон его имени был сформулирован в далёком 1965 году. Наблюдать за динамикой увеличения количества транзисторов в составе полупроводниковых компонентов Мур начал с 1959 года, и для своей статьи в журнале сформулировал предположение, что в период с 1965 по 1975 годы количество транзисторов в структуре чипов будет удваиваться каждые два года без существенного увеличения себестоимости. Последнее условие является важным, поскольку определяет экономические основы развития полупроводниковой отрасли.

Как отметил Мур, в 1975 году он сверил хронику развития отрасли со своим предсказанием и был очень удивлён, насколько точным оно оказалось. Основанное на наблюдениях умозаключение, по его словам, в дальнейшем чудесным образом стало определять темпы развития полупроводниковой отрасли. Литографическое оборудование играет в этом процессе очень важную роль, поскольку позволяет уменьшать размеры полупроводниковых элементов, отодвигая физические барьеры миниатюризации всё дальше и дальше. В конце интервью Гордон Мур благодарит ASML за этот прогресс и желает компании удачи.

Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) заявил, что за последние 10 лет производительность чипов Nvidia увеличилась в 1000 раз, вступив в противоречие с законом Мура. И этот прогресс не замедлится в ближайшем будущем, а чипы компании обеспечат дальнейшее снижение стоимости и ускорение развития искусственного интеллекта (ИИ), рассказал Хуанг в интервью TechCrunch после выступления на CES 2025.

Источник изображения: Nvidia

Закон Мура, сформулированный в 1965 году соучредителем Intel Гордоном Муром, предсказывал удвоение числа транзисторов на кристалле каждые два года, что приводило к удвоению производительности чипов. Стоимость вычислений соответственно снижалась. В течение десятилетий это правило определяло развитие вычислительной техники. Однако в последние годы действие закона Мура начало замедляться. Однако Дженсен Хуанг с этим категорически не согласен, о чём неоднократно заявлял прежде. В ноябре Хуанг заявил, что мир ИИ находится на пороге «гиперзакона Мура».

На этот раз основатель Nvidia отметил, что ИИ-чипы Nvidia развиваются с опережением и новый суперчип для дата-центров в 30 раз быстрее предыдущего поколения чипов при выполнении задач, связанных с искусственным интеллектом. «Наши системы прогрессируют гораздо быстрее, чем закон Мура», — сказал Хуанг в интервью TechCrunch во вторник.

Заявление Хуанга прозвучало в момент, когда в индустрии стали появляться вопросы, касающиеся замедления прогресса в области искусственного интеллекта. Однако Nvidia, оставаясь ключевым игроком на рынке, который поставляет чипы таким ведущим ИИ-лабораториям, как Google, OpenAI и Anthropic, заявляет, что может двигаться быстрее закона Мура, потому что инновации происходят на всех уровнях — от архитектуры чипа до программных алгоритмов. «Мы можем создавать архитектуру, чип, систему, библиотеки и алгоритмы одновременно, — отметил Хуанг. — Если вы это сделаете, то сможете двигаться быстрее, чем по закону Мура, потому что вы сможете внедрять инновации по всему стеку».

Глава Nvidia продемонстрировал на CES суперчип для центров обработки данных, лежащий в основе системы GB200 NVL72, который, по его словам, в 30–40 раз быстрее справляется с ИИ-вычислениями, чем предыдущий флагманский чип H100. Это значительное увеличение производительности, по мнению Хуанга, позволит снизить стоимость использования ИИ-моделей, требующих больших вычислительных мощностей, например, таких как модель o3 от OpenAI. Также подчёркивается, что в долгосрочной перспективе дорогостоящие модели рассуждения смогут использоваться для создания более качественных данных для последующего обучения ИИ-агентов, что приведёт к снижению затрат.

Хуанг отвергает идею о замедлении прогресса ИИ и утверждает, что достижения в области аппаратного обеспечения могут непосредственно повлиять на дальнейшее развитие возможностей искусственного интеллекта. «Закон Мура был так важен в истории вычислительной техники, потому что он привел к снижению стоимости вычислений, — сказал Хуанг в интервью TechCrunch. — То же самое произойдет и с инференсом [запуском обученных нейросетей]: мы увеличим производительность, и в результате стоимость инференса станет меньше».

Способность графических процессоров хорошо масштабировать производительность в вычислениях в условиях замедления классического «закона Мура» долгое время представлялась руководством Nvidia в качестве спасительного круга для всего человечества. Когда бурный рост систем искусственного интеллекта стал замедляться, на горизонте замаячили новые проблемы с масштабированием производительности.

Источник изображения: Nvidia

Как отмечается в публикации Financial Times, для многих в Кремниевой долине «закон Мура» был вытеснен новой концепцией: «законом масштабирования» искусственного интеллекта. До недавних пор считалось, что масштабирование вычислительной инфраструктуры и насыщение её бόльшими объёмами данных приводит к качественным изменениям в системах искусственного интеллекта. По сути, ожидалось, что за счёт этого ИИ будет становиться «умнее». Все крупные компании технологического сектора в итоге уже несколько кварталов подряд сосредоточены на активном наращивании вычислительной мощности своих центров обработки данных.

Ранее считалось, что существующие темпы роста производительности центров обработки данных будут сохраняться до тех пор, пока не будет создан «сверхинтеллект», способный превзойти человеческий, но при этом базирующийся на программных алгоритмах и зависимостях. Лишь в последние недели эксперты начали проявлять озабоченность тем, что новейшие большие языковые модели в исполнении OpenAI, Google и Anthropic не дают необходимого прогресса в соответствии с прежними тенденциями.

Покинувший OpenAI один из основателей стартапа Илья Суцкевер недавно заявил: «2010-е годы были эпохой масштабирования, но теперь мы вернулись в эпоху открытий и изумления». Примечательно, но Суцкевер ещё год назад был уверен, что всю поверхность Земли нужно будет покрыть солнечными панелями, которые будут питать столь же многочисленные центры обработки данных.

Многие участники рынка сходятся во мнении, что этап активного обучения языковых моделей подходит к концу, но для поддержания существующих темпов прогресса нужно заниматься следующим этапом. Глава Microsoft Сатья Наделла (Satya Nadella) считает, что замедление обучения больших языковых моделей не особо ограничивает темпы прогресса, поскольку системы искусственного интеллекта обретают возможность рассуждать. По мнению основателя Nvidia Дженсена Хуанга (Jensen Huang), даже снижение потребности в вычислительных ресурсах для обучения языковых моделей не будет означать снижения спроса на её продукцию. Разработчики систем ИИ будут стремиться сократить время реакции системы на задаваемые пользователями вопросы. Данная гонка потребует ещё большего количества аппаратных ресурсов, по мнению бессменного руководителя Nvidia, и это хорошо для бизнеса компании. Президент Microsoft Брэд Смит (Brad Smith) убеждён, что потребности рынка в чипах для ускорителей будут расти ещё как минимум на протяжении года.

Впрочем, переход систем ИИ на новый этап развития должен обеспечиваться появлением реальных сфер применения, которые полезны для бизнеса. С этим пока возникают проблемы, ведь любые инновации должны приносить материальную выгоду, а эффект от применения ИИ в его нынешнем виде во многих отраслях экономики пока не столь очевиден. Это не мешает технологическим гигантам вкладывать огромные суммы в расширение своих вычислительных ресурсов. В этом году совокупные капитальные затраты Microsoft, Amazon, Google и Meta✴ должны превысить $200 млрд, а в следующем они наверняка превзойдут $300 млрд, как считают представители Morgan Stanley.