Сегодня 05 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → инференс

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.


window-new
Soft
Hard
Тренды 🔥
Еврокомиссия подтвердила: правила по ИИ вступят в силу без отсрочки 10 ч.
Microsoft закрыла офис в Пакистане после 25 лет работы 10 ч.
ChatGPT стал инструментом для фишеров — пользователи получают неправильные ссылки 10 ч.
Новая статья: Two Falls (Nishu Takuatshina) — в поисках взаимопонимания. Рецензия 14 ч.
Продюсер Xbox посоветовал уволенным сотрудникам обратиться к ИИ, чтобы «снять эмоциональную нагрузку» 14 ч.
Загадочный хоррор OD от Кодзимы не попал в число жертв Microsoft — «по крайней мере, пока» 14 ч.
Создатели Helldivers 2 ответили, выйдет ли игра в Game Pass — «однозначно» нет 15 ч.
Google изменит поиск под давлением ЕС: в топе выдачи теперь будут сайты конкурентов 15 ч.
Наследие 3dfx Interactive живёт: энтузиасты открыли дорогу к браузерной эмуляции культовых игр конца 90-х 16 ч.
Разработчики Subnautica 2 не объяснили внезапную смену руководства, но зато в игре не будет лутбоксов и боевых пропусков 18 ч.