Сегодня 31 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Аппаратные требования больших языковых моделей ИИ сокращаются вдвое каждые восемь месяцев

Большие языковые модели, лежащие в основе чат-ботов с искусственным интеллектом, развиваются настолько быстро, что всего за восемь месяцев необходимые им для работы аппаратные ресурсы сокращаются вдвое — сами чипы демонстрируют намного более скромный прогресс.

 Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Существуют два способа повысить производительность систем ИИ, обращает внимание исследователь из Массачусетского технологического института Тамай Бесироглу (Tamay Besiroglu): увеличить размеры больших языковых моделей, что потребует соразмерного увеличения вычислительной мощности, хотя оборудование для ИИ сегодня находится в дефиците; или оптимизировать базовые алгоритмы, чтобы более эффективно применять существующее оборудование. Похоже, нынешние разработчики больших языковых моделей предпочли второй подход.

Учёные проанализировали показатели производительности 231 большой языковой модели, разработанных в период с 2012 по 2023 гг., и обнаружили, что вычислительная мощность, необходимая для их работы, сокращалась в среднем вдвое каждые восемь месяцев. Это значительно быстрее, чем предполагает эмпирический закон Мура, согласно которому число транзисторов на кристалле (мера его производительности) удваивается каждые 18–24 месяца. Исследователи отмечают, что такой рост производительности систем ИИ отчасти связан с оптимизацией кода, хотя точно определить это не получается, потому что алгоритмы ИИ часто не поддаются анализу. Свою роль, конечно, сыграло и развитие аппаратных компонентов.

Разница в темпах развития является показателем того, насколько эффективно разработчики больших языковых моделей используют доступные им ресурсы. Бесконечно оптимизировать алгоритмы не получится, считает Бесироглу, и нет ясности, сохранится ли такой темп развития в долгосрочной перспективе. Существуют и опасения, что повышение эффективности моделей может, напротив, увеличить потребление энергии отраслью ИИ, поэтому нельзя заниматься только одним аспектом, игнорируя остальные, предостерегают учёные.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: The Slormancer — Diablo без заморочек. Рецензия 23 мин.
Моддер уже добавил в Elden Ring Nightreign режим для двух игроков, о котором забыли разработчики 2 ч.
Sony сняла региональные ограничения со Stellar Blade на ПК, а в Steam вышла демоверсия игры 3 ч.
Звание худшей игры FromSoftware в Steam не помеха: продажи Elden Ring Nightreign превысили 2 миллиона копий в день релиза 6 ч.
Российская «Майкрософт» собралась объявить о банкротстве 6 ч.
Никогда такого не было и вот опять: майское обновление Windows 11 вызывает массовые сбои с кодом 0xc0000098 6 ч.
CD Projekt Red анонсировала ещё одно обновление для The Witcher 3: Wild Hunt — игра получит кроссплатформенную поддержку модов 7 ч.
Власти ЕС запустят приложение для проверки возраста людей в интернете 7 ч.
ИИ начал автоматически конспектировать содержимое писем Gmail 7 ч.
Google AI Overviews до недавнего времени жил в 2024 году — после огласки проблему быстро устранили 9 ч.
Microsoft отложила разработку портативной Xbox и сосредоточится на консолях партнёров 2 ч.
Китайская XPeng выпустила электромобиль MONA M03 Max за $20 000 с бесплатными автопилотом 4 ч.
Dreame представила в России флагманские роботы-пылесосы, ручные пылесосы, газонокосилку и очиститель воздуха 4 ч.
Цены на память DRAM подскочили ещё на 20 %, так как производители электроники запасаются впрок 6 ч.
Реинкарнация Optane: InnoGrit показала SSD на чипах 3D XL-Flash с рекордной скоростью в 3,5 млн IOPS 6 ч.
MSI заменит или компенсирует любые комплектующие в ПК, если их сломает её блок питания 7 ч.
Соучредитель Xbox Джей Аллард занялся «прорывными» устройствами в Amazon 7 ч.
Intel не намерена выпускать дискретную графику для ноутбуков — хватит и интегрированной 8 ч.
Робот Space Solar поможет в сборке километровых солнечных панелей и других гигантских объектов на орбите 8 ч.
Скромно, зато всё своё: Bell Canada и Telus развернут в Канаде сеть ИИ ЦОД 8 ч.