Сегодня 11 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → инференс

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.


window-new
Soft
Hard
Тренды 🔥
Sony показала 17 минут геймплея Ghost of Yotei и анонсировала лимитированные PS5 в стиле игры 3 ч.
Агентство по охране окружающей среды США посетовало на непрекращающиеся попытки бездумного внедрения ИИ 3 ч.
TikTok уже приступил к реструктуризации американского бизнеса, хотя перспективы сделки не ясны 4 ч.
ГК «Гарда»: лишь треть российских компаний использует решения для защиты данных 4 ч.
Новая статья: В малом весе: обзор российских мобильных операционных систем 12 ч.
YouTube объявил о закрытии раздела «В тренде», но уже готовит ему замену 13 ч.
Забастовка актёров озвучки игр наконец завершена — участники SAG-AFTRA одобрили новый договор 15 ч.
«Я был пьян, но утечки так и не случилось»: глава издательского отдела Larian рассказал, как чуть не «слил» дату выхода Baldur's Gate 3 16 ч.
Google Gemini научился превращать фото в восьмисекундные видео со звуком, но небесплатно 16 ч.
ЕС открыл новое дело против TikTok за передачу данных европейцев в Китай — ранее соцсеть уже штрафовали за это на €530 млн 17 ч.
Производитель смартфонов Nokia сократит своё присутствие в США 11 мин.
Доля зарубежного трафика в российских сетях подскочила на 15–25 % за последний год 24 мин.
«Зачастили они»: болид озарил ночное небо над Челябинском 34 мин.
Минпромторг урезал субсидии радиоэлектронной отрасли почти вдвое в 2025 году и сократит их ещё больше в 2026-м 2 ч.
На свою третью годовщину телескоп «Джеймс Уэбб» во всей красе показал туманность «Кошачья лапа» 2 ч.
Проблемы Tesla и электромобильного рынка США в целом вынудили Panasonic притормозить строительство аккумуляторного завода в США 2 ч.
В облаке AWS появились инстансы EC2 P6e-GB200 UltraServer на базе ИИ-суперускорителей NVIDIA GB200 NVL72 3 ч.
В России стартовали продажи смартфона Honor X6c с мощной батареей и повышенной прочностью за 12 000 рублей 3 ч.
Электрический гиперкар Rimac Nevera R установил 24 новых мировых рекорда, разогнавшись до 431,45 км/ч 5 ч.
Huawei пытается продвигать свои ускорители вычислений на Ближнем Востоке и в Юго-Восточной Азии 5 ч.