Термодинамические вычислители — это нормально

Генеративный ИИ чрезвычайно прожорлив в энергетическом плане. Запрос к Gemini, ChatGPT или Grok заставляет обрабатывающие их серверы расходовать в 7-10 раз больше электроэнергии, чем при обработке обычного обращения к поисковой машине. По собственной оценке Google, её дата-центры за 2024 год рассеяли в пространство 30,8 ТВт·ч, — не только на рисование картинок с котиками, ясное дело, но во многом именно на решение ИИ-задач. Международное агентство по энергетике прогнозирует, что в течение 2030-го все ЦОДы планеты в совокупности потребят 945 ТВт·ч энергии — примерно вдвое больше, чем в прошлом году. Если в настоящее время почти 1,5% всего электричества, что вырабатывается на Земле любыми способами, уходит на обеспечение работы дата-центров, то всего через несколько лет эта доля вырастет до 3%. И пока не очень понятно, какие естественные пределы (помимо физического отсутствия возможности возводить новые электростанции) есть у этого роста, поскольку потребность в генеративных вычислениях только растёт, невзирая на назойливые причитания маловеров о скором крахе «ИИ-пузыря». В 2025-м, как подсчитали в Gartner, на оптимизированные для обработки ИИ-задач серверы приходился 21% от общего энергопотребления ЦОДов; к 2030-му же речь будет идти не менее чем о 44%. Не слишком ли высокую цену — в тераватт-часах — человечество платит за возможность в любой момент, едва только мелькнёт в голове такая мысль, поинтересоваться у нейросетей, будет ли оставленный на столе сэндвич грустить о своём создателе или как написать рэп-балладу о жизненном пути картофельного клубня?

Во-первых, термодинамические вычислители — это просто красиво (источник: Extropic)

Ещё в 2019 г. большая группа исследователей, представлявших Computing Community Consortium (CCC; Консорциум вычислительного сообщества — в составе Ассоциации вычислительных исследований под эгидой американского Национального научного фонда), выступила с предложением к мировой ИТ-индустрии обратить внимание на такую перспективную именно для решения ИИ-задач отрасль, как термодинамические вычисления, thermodynamic computing. Подход выбран подлинно нерядовой: ведь начала термодинамики носят универсальный характер и выполняются совершенно независимо от того, какие именно физические тела образуют ту или иную макроскопическую — вычислительную, в частности, — систему. Иными словами, и привычный полупроводниковый чип, и фотонный процессор, и даже базирующийся на колебательных контурах микронных размеров квантовый компьютер так или иначе подчиняются постулатам термодинамики, — какой же тогда смысл говорить особо о термодинамических вычислениях? Но дело в том, что для всех перечисленных регающих задачи систем проявления начал этой самой термодинамики по большей части вредоносны: из-за тепловых возмущений электроны сбиваются с верного пути, нагрев оптических элементов ведёт к их деформации и размывает потоки фотонов, а уж как квантовые вычислители страдают от проявлений макроскопического несовершенства составляющих их компонентов, мы не раз уже в деталях расписывали.

⇡#Вы просто не умеете теплоту готовить

Идея же термодинамических вычислений сводится к бессмертному высказыванию: «Тот, кто нам мешает, — тот нам и поможет». Ведь вредоносное воздействие проявлений термодинамики на вычислительные процессы сводится к не просто настойчивому, а неизбежному внедрению случайного (стохастического) компонента в исходно математически строгие операции, которые производит некий контур. По счастливому же стечению обстоятельств в наши дни не просто известен, но широко востребован целый класс вычислительных задач, для которых стохастика перестаёт выступать досадной помехой и становится органическим элементом ключевого, авторегрессионного, процесса. Это как раз те самые генеративные модели искусственного интеллекта, что неуклонно отъедают всё более заметную долю энергетического бюджета человечества. Так не пора ли уже отказаться от искусственного, цифровым образом производимого в памяти физических систем, порождения необходимых для работы нейросетей случайных величин (и от расходования огромных энергоресурсов на отвод тепла от порождающих эти величины процессоров) — и брать необходимую порцию стохастики непосредственно от природы; от теплового движения составляющих вычислительное устройство элементарных частиц?

Концептуальная схема термодинамической вычислительной системы. Сверху — классический компьютер: физический агрегат, производящий в виртуальном пространстве идеальные (с поправкой на неизбежность порождаемых несовершенством своей аппаратной части ошибок, конечно) математические операции. Он полностью зависит от людей: только благодаря им — создающим его логические контуры, подготавливающим и вводящим данные — он контактирует с реальным миром. Снизу — термодинамический вычислитель с не зависящим напрямую от человека (дизайнера микросхемы, программиста и т. п.) доступом к окружающей среде. Он в процессе вычислений подвержен сложной, многоуровневой, рекуррентной и адаптивной эволюции, которую люди могут лишь направлять — задавая определённые ограничения на его связи с окружающей средой. Вдобавок ТДВ реализует и обратную связь со своим окружением, воздействуя на энергетические потенциалы, которые могут использоваться в качестве входных данных (источник: CCC)

«Пора», — решили в CCC, и представили своё видение пути, по которому могут развиваться термодинамические вычисления на радость планете (в атмосферу которой энергостанции будут, как ожидается, по мере прогресса этих технологий выделять меньше тепла, чем прогнозирует сегодня Международное энергетическое агентство) и её охочим до ИИ обитателям. Общая идея заключается в том, чтобы привлечь естественные проявления неравновесной термодинамики для выполнения вычислительных операций по определённым алгоритмам, начиная с уже упомянутого авторегрессионного процесса. По оценкам исследователей (и первых практиков, кстати, — термодинамические вычислители, ТДВ, уже выпускаются малыми сериями, и вскоре мы о них расскажем), рост производительности в пересчёте на ватт затраченной мощности оказывается примерно стократным для большинства нуждающихся в привлечении стохастики задач, и почти 10000-кратным в ряде отдельных, особенно удачных, случаев.

Основная масса действующих сегодня компьютеров построена по архитектурным принципам фон Неймана, которые, вообще говоря, абстрагируют отдельные узлы вычислительной системы — устройства ввода-вывода, память, процессор — от физической базы, на которой те реализованы. С одной стороны, это чрезвычайно продуктивный подход: благодаря ему алгоритмы, разработанные ещё для релейных и ламповых вычислителей, без особых затруднений адаптировались для исполнения на полупроводниковых системах той же принципиальной — логической — архитектуры. С другой стороны, подразумеваемая принципами фон Неймана отвлечённость от особенностей реализации структур на нижележащих уровнях обрекает инженеров — как аппаратных, так и программных — на следование пути грубой грануляризации (coarse-graining) встающих перед ними задач.

Наглядное изображение эффективности четырёх различных подходов к совершенствованию вычислений. Каждый подход затрагивает больше уровней вычислительной системы, чем предыдущий, и вносит в неё больше возмущений (disruption), влекущих за собой серьёзную перестройку аппаратно-программной архитектуры. Термодинамические вычисления, которые производятся вразрез с принципами фон Неймана, относятся к категории 4, так что для их внедрения придётся глубоко перелопатить все уровни существующей вычислительной архитектуры (источник: IEEE Rebooting Computing)

Само по себе и это вроде бы неплохо: какой-нибудь сумматор из штрихов Шеффера в составе очередного процессора можно вчерне проектировать, имея лишь общие представления о свойствах складывающих его логических вентилей и шин — не задумываясь о том, как именно будут реализованы на кремниевой подложке эти элементы и какими реальными физическими свойствами каждый из них в отдельности станет обладать. Да, уже после, на этапе адаптации созданного на платформе автоматизированного проектирования чертежа под конкретные технологические процессы, применяемые на данной чипмейкерской фабрике, придётся кое-что доработать (так, формально «3-нм» техпроцессы у TSMC и у Samsung довольно заметно различаются), но инженеру-проектировщику fabless-разработчика микросхем изначально вполне достаточно того уровня абстракции, на котором он оперирует. То же и с программированием: из набора библиотек, как из «чёрных ящиков» с хорошо документированными входами и выходами, вполне реально составить функционирующий должным образом код. Не идеальный, наверное, поскольку внутренняя кухня каждой из библиотек, включая таящиеся там неоптимальные решения и баги, останется нетронутой, — но выдавать ожидаемый результат он выдавать будет.

Оборотная же сторона грубой грануляризации, на которую справедливо указывают исследователи из CCC, заключается в том, что построенные с опорой на неё устройства и алгоритмы оказываются напрочь оторваны от физической реальности; точнее, полностью к ней индифферентны. Компьютер превращается в абстрактную машину состояний (конечный автомат, автомат с памятью), имеющую дело исключительно с нулями и единицами в рамках тщательно проработанной, детерминированной последовательности переходов состояний, каждый из которых рассеивают в пространство пусть малую, но вполне измеримую толику теплоты. Даже работа пресловутой авторегрессионной большой языковой модели сводится к операциям матричного умножения с добавлением некоего стохастического слагаемого — которое, в свою очередь, формируется полупроводниковыми же контурами генерации псевдослучайных чисел; тоже, можно сказать, по детерминированному алгоритму (истинно случайные числа выдают соответствующие генераторы, TRNG, true random number generators, но те как раз и эксплуатируют подлинно стохастические явления физической реальности — образуя этакий нефоннеймановский островок в выстроенной по канону компьютерной архитектуре).

Последовательное изменение энтропии небольшого модельного логического контура в ходе вычислений. Схема начинает работу в состоянии, унаследованном от предыдущего запуска (серые кружки), при этом все значения вентилей исходно взаимосвязанны (и потому суммарная энтропия системы невелика), поскольку предыдущий запуск уже привёл к получению логически детерминированного результата. Затем данные на входах обновляются (розовые кружки), их значения теперь не связаны логически с теми, что сохранены в остальных ячейках схемы, — энтропия контура повышается. По мере того, как вентили последовательно срабатывают, происходит откат уровня энтропии до минимального через формирование логических корреляций между ячейками по мере выполнения вычислений — что естественным образом ведёт к выделению тепла (источник: arxiv.org/abs/2504.04031v3)

⇡#Энтропия в помощь

Но это ведь, если вдуматься, полная несуразица: имманентно присущие любому макроскопическому телу термодинамические принципы инженерами сознательно игнорируются — а взамен путём ряда весьма энергоёмких ухищрений стохастическую изначально по самой своей природе систему заставляют формировать псевдослучайный шум. В соответствии с принципом Ландауэра в любой вычислительной системе при потере единичного бита информации выделяется некое минимальное количество теплоты, а значит, любые детерминированные вычисления обречены нагревать пространство — и для матричных операций с триллионами операндов, что характерны для современных БЯМ, это справедливо в особенности. На практике всё ещё сложнее: логические сигналы «0» и «1» кодируются в электронных схемах определёнными величинами напряжений с некоторыми допусками, то есть каждый такой сигнал в каждой конкретной точке логической схемы (где на него действуют различные поля наводок, где проявляют себя особенности расположенных именно здесь субмикронных проводников, резисторов и конденсаторов) уникален. Получается, на два совершенно идентичных логических контура в составе одного и того же чипа, пусть даже расположенные рядом, будут поступать несколько различные входные сигналы — чуть отличающиеся по величине стробы, кодирующие вроде бы один и тот же «0» или одну и ту же «1», — и выдача их тоже окажется разной с физической точки зрения, пусть и одинаковой с логической.

В работе CCC эта мысль сформулирована так: «Термодинамическая стоимость логического контура — то есть совокупное падение энтропии по всем его состояниям во время его работы, которое в конечном итоге должно рассеиваться в виде тепла, — зависит от распределения состояний на входах того же контура». Стоимость эта, очевидно, довольно ощутимо варьирует по всей площади микросхемы (и тем более по всем её этажам, если речь идёт о 2.5D- или 3D-чипах), — вот она, натуральнейшим образом возникающая стохастика! Этой иллюстрацией исследователи поясняют, как работает полупроводниковый термодинамический вычислитель: хотя, понятное дело, аппаратных основ ТДВ можно подобрать множество, на нынешний уровень развития микропроцессорной отрасли просто грех было бы не опереться. В общем случае такой вычислитель принимает на вход некие сигналы (внешние потенциалы), под воздействием которых его контуры совершают спонтанные и быстрые переходы между своими граничными состояниями (условно соответствующими логическим «0» и «1»), причём переходы эти — в полном соответствии с принципами неравновесной термодинамики — на более длительном временном интервале приводят, за счёт реализации внутренних адаптивных процессов, сложную систему в организованное состояние. Здесь просматриваются прямые параллели с квантовыми компьютерами: у кубитов тоже есть граничные состояния, и составленные из них схемы также эксплуатируют для совершения вычислений физические особенности самой своей конструкции.

В координатах «характерное время выполнения операции — характерный размер вычислительного элемента» термодинамические вычислители занимают промежуточное место между классикой на основе принципов фон Неймана и квантовыми системами (источник: CCC)

ТДВ мыслится исследователями из CCC как гибридное устройство, сочетающее собственно термодинамические вычислительные контуры с классическим полупроводниковым оборудованием. Последнее служит интерфейсом для доступа пользователя к вычислителю и каналом обратной связи для выдачи и интерпретации результатов термодинамических расчётов. Но, в отличие от обычной системы на базе архитектуры фон Неймана, ТДВ напрямую получает в качестве входных данных электрические потенциалы из реального мира — в их фактических значениях, без необходимости искусственно интерпретировать их как логические нули и единицы, — а эти потенциалы, в свою очередь, управляют эволюцией внутренней организации термодинамической системы. Роль же классического управляющего компьютера сводится к заданию ограничений для ТДВ — через выбор конкретных значений внешних потенциалов и физического конфигурирования (напрямую либо через программный интерфейс, если речь идёт об FPGA-подобных микросхемах) термодинамического оборудования. Работа же самого этого оборудования сводится, по сути, к автоматизированной реализации метода градиентного спуска — к спонтанному переходу в низкоэнергетические состояния составляющих ТДВ отдельных блоков (ядер) в зависимости от подаваемых на них входных данных. Здесь заметно сходство и с нейроморфными вычислениями — разве что термофизическая эволюция многосвязной системы заменяет собой в данном случае эмуляцию нейробиологических процессов.

⇡#Меньше энергии, больше расчётов

Несмотря на завораживающие перспективы — ведь ИИ-задачи (в частности, генеративные) в основном сводятся к формированию вероятностных распределений, — термодинамические вычисления порка пребывают на начальной стадии развития. И всё же реальные, находящие применение на практике, воплощения ТДВ уже известны. Так, стартап Extropic создал термодинамическую КМОП-микросхему, предназначенную для совместной работы со стандартными центральными и графическими процессорами. Основу этого устройства составляют вероятностные биты, они же питы (probabilistic bits, PITS) и термодинамические блоки выборки (thermodynamic sampling units, TSU). На манер кубитов, питы существуют в вероятностных состояниях — однако не одновременно во всех возможных, от «0» до «1», а в определяемых в каждый момент времени величиной входных сигналов (плюс, конечно же, тем путём по электрической схеме, который эти сигналы проходят). В свою очередь, TSU — специализированные процессоры для энергоэффективных вычислений с питами. Понятно, что, производя операции над содержащими шум данными, они дают на выходе ещё сильнее зашумлённый сигнал. Но основавшие этот стартап Гийом Вердон (Guillaume Verdon) и Тревор Маккорт (Trevor McCourt), изначально специалисты по квантовым вычислениям, утверждают: естественным образом случайный, нормально распределённый тепловой шум в начальном состоянии питов после наложения на них аналоговых весовых коэффициентов позволяет в итоге получить вполне достоверный результат — если применить к выходному сигналу статистический анализ. Важно также, что разработки Extropic функционируют при комнатной температуре, и рассчитаны как раз на гибридных сценарий применения в связке с привычными ЦП и ГП.

Термодинамический вычислитель Z1 TSU с 4 миллионами питов (источник: Extropic)

Для гибридных вычислений с ТДВ нужны, ясное дело, гибридные алгоритмы, — и они тоже предлагаются заинтересованным этими системами контрагентам в виде написанной на Python библиотеки Thermal с открытым исходным кодом. Главная особенность Thermal — эмуляция ТДВ Extropic на графическом процессоре, что позволяет уже сторонним разработчикам создавать свои гибридные средства решения самых разных задач; связанных с ИИ-моделями — в первую очередь. Заодно можно потом удостовериться в высокой эффективности аппаратной вычислиительной термодинамики, сопоставив энергозатраты на решение одной и той же задачи с эмуляцией ТДВ на ГП — и с применением реального образца. Создав несколько прототипов, компания в конце 2025 г. перешла к доведению до готовности к коммерческому производству Z1 TSU — термодинамического (со)процессора с четырьмя миллионами соединённых между собой питов. Да, по современным меркам — допуская, что один пит может представлять в точности один весовой коэффициент многослойной глубокой нейросети, — это не так уж много: параметры актуальных БЯМ исчисляются триллионами. Ни и для сравнительно малых по числу параметров языковых моделей есть множество прикладных областей применения, в которых критична как раз высокая энергоэффективность: робототехника, подлинно автономное машинное зрение (прямо на экономичном чипе, встроенном в видеокамеру системы безопасности, например), самоуправляемые авто и т. д. «Миссия термодинамических вычислений — спасти мир и ускорить прогресс, даря глубокое чувство удовлетворения и почти бесконечную энергию», — вдохновенно заявлял ещё в 2024 г. Тревор Маккорт.

Ещё один стартап, успешно подвизающийся на ниве термодинамических вычислений, — Normal Computing, в середине прошлого года объявивший о разработке процессора CN101, «нормального» в котором на первый взгляд не так уж много. Физически он состоит из однотипных крошечных электрических компонентов — колебательных контуров с конденсаторами, — которые (в электрическом смысле) ведут себя словно увязанные одна с другой механические пружины. Жёсткости пружин здесь соответствует накопленный каждым из конденсаторов заряд, и благодаря стремлению неравновесной изначально термодинамической системы к состоянию равновесия через не самое большое время электрические колебания в таком ТДВ оказываются способны решать (опять-таки, средствами неравновесной термодинамики) не самые простые и существенно многооперандные задачи вроде инвертирования матриц. Ускорить работу CN101 очень просто — достаточно его охладить, тем самым снизив влияние паразитных тепловых шумов и оставив только «нужный» шум, порождаемый стохастическим разбросом величин запасаемых в конденсаторах зарядов.

Стохастическое 8-ячеечное вычислительное устройство разработки Normal Computing. Слева — фото монтажной платы с элементарными ячейками, соединёнными между собой по топологии «все со всеми»; каждая содержит колебательный контур и источник гауссова токового шума, как показано на принципиальной схеме в правом верхнем углу. Схема внизу изображает две ёмкостно связанные элементарные ячейки (источник: www.nature.com/articles/s41467-025-59011-x)

Другие исследовательские группы и стартапы изучают иные способы воплощения ТДВ: на основе мемристоров, магнитных туннельных переходов и даже сверхпроводящих схем. в Национальной лаборатории им. Лоуренса в Беркли (Lawrence Berkeley National Laboratory) предложили концепцию нелинейных «термодинамических нейронов», не нуждающихся в возврате к состоянию термодинамического равновесия перед началом нового цикла вычислений. Идея Стивена Уайтлама (Stephen Whitelam) и его коллеги Корнела Касерта (Corneel Casert), соавторов опубликованной в Nature Communications статьи на эту тему, заключается в том, чтобы научиться управлять эволюцией термодинамических состояний базовых элементов вычислительной схемы, заставляя их «развиваться» в нужном экспериментаторам направлении: «Если взять физическое устройство с энергетическим масштабом, сравнимым с масштабом тепловой энергии, и оставить его в покое, оно будет изменять своё состояние со временем под действием тепловых флуктуаций. Цель состоит в том, чтобы запрограммировать его таким образом, чтобы на этот раз эволюция принесла пользу. Классические и квантовые вычисления борются с шумом — но именно он заставляет термодинамические вычисления работать». Используя цифровое моделирование, Уайтлам и Касерт показали, что нелинейные вычисления — подобные тем, которые выполняются нейронными сетями, — действительно возможны с помощью ТДВ, не начинающих работу непременно из состояния равновесия. Это существенно расширяет спектр исполнимых на таком «железе» алгоритмов — позволяя, в частности, термодинамическому контуру вести себя подобно нейрону в биологической нейронной сети.

Термодинамические вычислители находятся — даже если сравнивать их с квантовыми — в самом начале пути: разнородных аппаратных платформ слишком много, эффективных алгоритмов маловато, подтверждённой эффективности гибридных применений в связке с фоннеймановскими системами откровенно недостаёт. И всё же по мере дальнейшего нарастания спроса на энергию для ИИ-вычислений в какой-то момент наверняка выяснится, что проинвестировать в ускорение развития ТДВ — лучше сразу по нескольким конкурирующим направлениям — выгоднее и эффективней, чем возводить где-нибудь за Полярным кругом очередной ИИ-ЦОД в комплекте с ядерным мини-реактором. Экономика, сколь обидно бы это ни звучало для визионеров и евангелистов «чистого» технического прогресса, — лучший и мощнейший двигатель науки!