MWC 2018
2018
Computex
IFA 2018
Вся история вычислений — это непрерывная борьба с помехами и потерями энергии в процессе рассеяния тепла. Мощное железо решает вопрос производительности, но излишки тепла растут экспоненциально, и даже хороший кулер или СЖО не в силах справиться. Но, что если не бороться с теплом и с тепловым шумом, как источником ошибок, а взять его на вооружение? А так можно было? Действительно, так можно.
Источник изображения: Berkeley Lab
Исследователи из Национальной лаборатории им. Лоуренса в Беркли (Lawrence Berkeley National Laboratory) предложили концепцию термодинамического вычисления, когда тепловой шум — случайные флуктуации электронов из-за нагрева и остывания — перестаёт быть помехой и становится источником энергии для вычислений.
В классических компьютерах и квантовых системах шум подавляется с огромными энергозатратами на охлаждение и повышение мощности сигналов, но предложенная учёными система работает на предельно малом энергетическом масштабе, близком к энергии теплового шума. Систему просто оставляют в покое и естественные тепловые колебания сами переводят её из одного состояния в другое, выполняя полезные операции. «Термодинамические вычисления — это вычисления, питаемые шумом», — как лаконично объяснили авторы исследования.
Отметим, что ранее подобный метод вычислений был продемонстрирован для уравнений линейной алгебры. Нейронные сети требуют нелинейных расчётов, возможность которых на термодинамических системах впервые показала команда из Беркли. Тем самым появляется возможность проводить сложные нелинейные расчёты, аналогичные нейронным сетям, при комнатной температуре без активного энергопотребления на подавление шума.
Команда разработала дизайн «термодинамических нейронов» — нелинейных компонентов, которые ведут себя как нейроны в сети, позволяя выполнять произвольные нелинейные расчёты. Ещё одним недостатком предыдущих подходов было то, что перед началом вычислений приходилось долго ждать, пока система придёт в равновесное состояние. Новый подход позволяет избежать ожидания и начинать вычисления в любой момент состояния системы, не дожидаясь наступления термодинамического равновесия.
Поскольку система стохастическая (каждый запуск даёт немного разные результаты из-за шума), стандартный градиентный спуск для выполнения алгоритма не подходит. Поэтому исследователи рассчитали эволюционные алгоритмы на суперкомпьютере Perlmutter (NERSC), оценив триллионы стохастических траекторий. Алгоритм оптимизировал параметры цепей, чтобы система выдавала нужный результат в заданный момент времени. Так сказать, нашли, как лучше всего конвертировать шум в работу нейросетей.
Безусловно, использование суперкомпьютера на этапе поиска наиболее эффективных траекторий термодинамических изменений в схемах — это колоссальные энергозатраты. Но после обучения всё можно воплотить в железе, в частности, для получения ответов в процессе «простого» остывания процессора без существенного внешнего питания.
Моделирование показало, что инференс (вывод) происходит с экстремально низким энергопотреблением — на порядки эффективнее классических чипов для задач машинного обучения. Поручите выдачу ответов на поисковые запросы такому «ленивому» процессору, и сэкономите прорву энергии! Кажется фантастикой? А ведь такие процессоры уже есть и, похоже, их станет ещё больше. Энергогенерация в нашем мире не резиновая и её резервы уже заканчиваются.
Источник:
