Сегодня 26 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → инференс

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.


window-new
Soft
Hard
Тренды 🔥
Новая статья: The Midnight Walk — из искры разгорится пламя. Рецензия 25-05 00:02
Новая статья: Gamesblender № 727: «правильные» обзоры RTX 5060, два города в сиквеле Cyberpunk и ремастер Syberia 24-05 23:39
Немецкий суд постановил, что на сайтах должна быть кнопка для отказа от всех файлов cookie сразу 24-05 20:39
Пожар в дата-центре, арендованном Маском, парализовал работу соцсети X 24-05 19:46
IBM хотела сократить штат, внедрив ИИ, но в итоге сотрудников стало только больше 24-05 15:07
Новая статья: Doom: The Dark Ages — король по праву. Рецензия 24-05 00:10
База с данными 184 млн аккаунтов Apple, Google, Microsoft и других сервисов лежала в Сети просто так 23-05 23:48
Настоящий детектив, обвинения невиновных и запугивание врагов: подробности ролевой игры Warhammer 40,000: Dark Heresy от создателей Rogue Trader 23-05 22:07
Microsoft готовит «бету» Gears of War: Reloaded, но никому об этом не сказала — тестовая версия ремастера засветилась в базе данных Steam 23-05 20:16
Konami показала вступление Metal Gear Solid Delta: Snake Eater с новой версией легендарной песни 23-05 19:15
Новая статья: Обзор смартфона TECNO CAMON 40 Pro 5G: искусственный интеллект круче, чем у флагманов 5 ч.
«Ростелеком», «Т8» и РФРИТ создадут российскую систему управления для сверхскоростных магистральных сетей связи 16 ч.
ASUS показала компактный ИИ-суперкомпьютер Ascent GX10 и рабочую станцию ExpertCenter Pro ET900N G3 на базе Blackwell 16 ч.
Перенос производства iPhone в США повлечёт целый комплекс проблем 21 ч.
Nikon поднимет цены на свою продукцию в США через месяц из-за таможенных пошлин 23 ч.
Чтобы исправить проблемы в своих компаниях, Илон Маск решил спать на работе 24-05 23:06
Supermicro представила сервер-микрооблако на базе AMD EPYC Grado 24-05 22:18
В США началась ядерная перестройка — Трамп хочет активизировать строительство АЭС 24-05 22:12
Пожар в орегонском ЦОД Digital Realty привёл к масштабному сбою X (Twitter) 24-05 22:04
Nvidia выпустит для Китая упрощённый ускоритель Blackwell стоимостью $6500-8000 24-05 20:29