Сегодня 07 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Mundfish выпустит эвакуационный шутер The Cube во вселенной Atomic Heart 5 ч.
Capcom представила Resident Evil Requiem, которая станет «началом новой эры хорроров на выживание» — первый трейлер и дата выхода 6 ч.
«Выведет жанр на новый уровень»: Mundfish анонсировала Atomic Heart 2 7 ч.
Новая статья: Elden Ring Nightreign — вместе весело страдать. Рецензия 8 ч.
Windows 11 будет автоматически замедлять процессор, когда компьютер не используется 12 ч.
На Samsung Galaxy Watch появилось приложение «Яндекс Музыка» 13 ч.
Ремейк Persona 4 скоро выйдет из тени — журналисты рассекретили дату анонса 13 ч.
AMD продолжает шоппинг: компания купила стартап Brium для борьбы с доминированием NVIDIA 14 ч.
В открытый доступ попал релизный трейлер дополнения Lies of P: Overture — аддон выйдет со дня на день 14 ч.
Apple разработала ИИ, выявляющий нетипичные аспекты устной речи — это поможет диагностировать заболевания 14 ч.
«Аквариус» анонсировала защищённую платформу СХД S2-1 с российским процессором Baikal-S 8 ч.
NASA повысило вероятность столкновения астероида 2024 YR4 с Луной через 7 лет 11 ч.
AMD купила команду разработчика ИИ-чипов Untether AI, но не саму компанию, которая тут же закрылась 14 ч.
В этом году МТС отключит половину своих базовых станций 3G в России 17 ч.
Для создания российской космической станции «Роскосмос» заказал ещё три ракеты «Ангара-А5М» 18 ч.
Intel признала, что изначально разрабатывала ангстремные техпроцессы 18A и 14A для себя, а не сторонних заказчиков 18 ч.
После рекордного обвала акции Tesla пошли вверх, поскольку Трамп и Маск готовят примирение 19 ч.
Японский лунный аппарат Resilience с мини-луноходом долетел до Луны — и мгновенно разобрался 19 ч.
В Китае испытали сверхзащищённый канал уникальной квантовой связи с взлетающей ракетой 20 ч.
Huawei и XPeng представили гигантский 87-дюймовый проекционный дисплей для авто 20 ч.