Сегодня 29 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → инференс

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.


window-new
Soft
Hard
Тренды 🔥
Anthropic ввела квоты на работу с Claude Code из-за чрезмерного спроса и злоупотреблений 16 мин.
Bloober Team доказала, что «люди ошибались» — разработчики ремейка Silent Hill 2 и Cronos: The New Dawn больше не чувствуют себя аутсайдерами 48 мин.
Microsoft не хочет упустить сильный ИИ: корпорация борется за доступ к будущим технологиям OpenAI 2 ч.
Представлен российский аналог платформы визуализации данных Grafana 3 ч.
Microsoft начала проверять возраст пользователей Xbox — пока добровольно и только в Великобритании 3 ч.
«Настоящий сиквел, а не повторение пройденного»: создатели The Witcher 4 не пытаются превзойти «Ведьмака 3» 4 ч.
Переосмысление боевой системы, стелс и QTE: разработчики «Смуты» показали первый геймплейный трейлер «Земского собора» 5 ч.
ИИ-агент ChatGPT научился проходить капчу — он утвердительно отвечает на вопрос, человек ли он 5 ч.
Состоялся релиз новой версии SafeTech CA — отечественной альтернативы Microsoft Certificate Authority 5 ч.
Meta обвинили в пиратстве порнофильмов для обучения ИИ 7 ч.
MaxLinear представила DPU Panther V с пропускной способностью 450 Гбит/с 11 мин.
HMD представила кнопочный телефон Barça 3210 — стиль Nokia, логотип «Барселоны» и поддержку DeepSeek 16 мин.
V-Color представила комплекты памяти DDR5 для Ryzen Threadripper Pro 9000 — до 2 Тбайт и до 8200 МТ/с 22 мин.
Преемник самого продаваемого Android-смартфона Samsung засветился на рендерах 2 ч.
Удар по Ирландии: Amazon отказалась от строительства фабрики серверов в стране за €300 млн 2 ч.
Crusoe и Tallgrass построят в Вайоминге ИИ ЦОД мощностью 1,8 ГВт 3 ч.
По-настоящему массовое роботакси: Pony.ai намерена нарастить парк до 1000 беспилотных авто до конца года 3 ч.
Китайцы представили компьютерный корпус с дизайном в стиле GeForce RTX 5000 Founders Edition 3 ч.
Стартап SpiNNcloud поставит Лейпцигскому университету «нейроморфный» суперкомпьютер для создания новых лекарств 3 ч.
Европа возведёт ИИ-гигафабрики, стремясь наверстать упущенное в отрасли 3 ч.