Сегодня 02 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Мечта, ставшая реальностью»: Activision и Paramount превратят Call of Duty в незабываемый фильм для старых и новых фанатов 9 мин.
От GTX 1060 до RTX 5070: Techland опубликовала полные системные требования Dying Light: The Beast, в том числе для ноутбуков 47 мин.
Хакеры атаковали Jaguar Land Rover — производство автомобилей остановлено 2 ч.
Не Hollow Knight: Silksong единой — Microsoft рассказала о первых новинках Game Pass в сентябре 3 ч.
Квантовые компьютеры ещё не готовы, но в ПО для них уже инвестируют миллионы 3 ч.
Слухи: Ubisoft начала строить планы на Rayman 4, а Beyond Good and Evil 2 выйдет до конца 2027 года 4 ч.
Спустя почти год Capcom удалила Denuvo из Dead Rising Deluxe Remaster, но заменила её другой DRM 4 ч.
Не хочешь — заставим: правительство само определит категории объектов КИИ 6 ч.
Криптовалюта WLFI Дональда Трампа упала в цене в первый же день торгов 7 ч.
GeForce RTX 4060 стала самой популярной видеокартой в Steam, а доля Windows 11 впервые превысила 60 % 8 ч.
США лишили TSMC возможности поставлять оборудование на свой завод чипов в Китае 2 ч.
Thermalright выпустила кулер Phantom Spirit 120 Digital с цифровым дисплеем и поддержкой процессоров с TDP до 275 Вт 2 ч.
Tesla провалила старт продаж в Индии — всего 600 заказов за 2,5 месяца 3 ч.
Передовые чипы подорожают: TSMC повысит цены на 10 % из-за трамповских пошлин 4 ч.
Одна плата ASRock уничтожила два Ryzen 7 9800X3D всего за несколько месяцев 4 ч.
В небо над Россией запустят воздушные шары с 5G — альтернатива спутникам Starlink 4 ч.
Мировые продажи электромобилей выросли на 29 % и перевалят за 20 млн в этом году 5 ч.
В умном доме «Сбера» поселился GigaChat — ИИ прокачал голосовое управления и не только 5 ч.
«Не понадобится ни один человек»: доступные роботы позволят Китаю и дальше заваливать мир дешёвыми товарами 5 ч.
Революция в мире оптической связи: Microsoft помогла улучшить характеристики полого оптоволокна 5 ч.