Сегодня 01 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Консоли задержат релиз постапокалиптического стелс-экшена Steel Seed от создателей Close to the Sun — объявлена новая дата выхода 39 мин.
Всего за несколько дней в Atomfall сыграло более 1,5 миллиона человек — это лучший старт в 32-летней истории разработчиков 2 ч.
ИИ-модель Llama запустили на ПК из прошлого тысячелетия на базе Windows 98 2 ч.
Telegram продал виртуальных первоапрельских кирпичей почти на 100 млн рублей 2 ч.
Nintendo подтвердила рекордную продолжительность презентации Switch 2 и устроит две демонстрации игр для консоли 3 ч.
ChatGPT остаётся самым популярным чат-ботом с ИИ, но у конкурентов аудитория тоже растёт 4 ч.
Google сделает сквозное шифрование в Gmail доступным для всех 4 ч.
Антиутопия на колёсах: новый геймплейный трейлер раскрыл дату выхода приключения Beholder: Conductor про кондуктора легендарного поезда 4 ч.
Путин запретил госорганам и банкам общаться с клиентами через иностранные мессенджеры 4 ч.
Разработчик приложений для российской ОС «Аврора» приостановил работу — сотрудникам перестали платить зарплату 4 ч.
В Калифорнии зарядных станций для электромобилей теперь на 48 % больше, чем бензоколонок 2 ч.
Японская Rapidus к концу апреля запустит опытное производство 2-нм чипов 4 ч.
В Лондоне появится экобезопасный ЦОД AWS для ленточных накопителей 6 ч.
Blue Origin выяснила, почему потеряла многоразовую ступень ракеты New Glenn при первом запуске 6 ч.
Arm намерена занять 50 % рынка чипов для ЦОД к концу 2025 года — NVIDIA ей в этом поможет 7 ч.
Bharti Airtel подключила Мумбаи к мировой сети с помощью кабеля 2Africa Pearls с пропускной способностью 100 Тбит/с 7 ч.
Европа технически готова построить суперколлайдер будущего, который будет втрое больше БАКа 7 ч.
Microsoft вновь заявила о намерении сотрудничать с OpenAI несмотря на план по замедлению экспансии ЦОД 8 ч.
XenData представила 1U-устройство Z20 на базе Windows 11 Pro для доступа к облачным хранилищам 8 ч.
Asus и Xbox намекнули на совместный выпуск портативной приставки с «новым уровнем гейминга» 8 ч.