Сегодня 18 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → распределенная сеть

«Торрент для запуска ИИ»: вышла утилита для распределённого запуска ИИ-моделей на любом оборудовании

Большие языковые модели искусственного интеллекта требуют значительных ресурсов не только при обучении, но и при запуске — необходимы существенные объёмы оперативной памяти и мощные графические процессоры. Альтернативу предложили создатели Exo — бесплатной программы для распределённого запуска ИИ на нескольких устройствах. Почти как торренты, только для запуска ИИ.

 Источник изображения: github.com/exo-explore/exo

Источник изображения: github.com/exo-explore/exo

Приложение позволяет объединять вычислительные ресурсы нескольких компьютеров, смартфонов и даже одноплатных компьютеров, в том числе Raspberry Pi, для запуска моделей, с которыми ни одна из имеющихся в распоряжении пользователя систем не справилась бы самостоятельно. Ресурсы устройств объединяются по одноранговой сети.

Exo динамически распределяет нагрузку, создаваемую большой языковой моделью, по доступным в сети устройствам, размещая её слои, исходя из доступного объёма оперативной памяти и имеющейся вычислительной мощности. Поддерживаются LLaMA, Mistral, LlaVA, Qwen и DeepSeek. Программа устанавливается на устройства под управлением Linux, macOS, Android или iOS — версии под Windows пока нет. Для работы Exo требуется минимальная версия Python 3.12.0 и, в случае машин под Linux с графикой Nvidia, ряд других компонентов.

Модель ИИ, требующую 16 Гбайт оперативной памяти, можно запустить на двух ноутбуках с 8 Гбайт на каждом; а мощную DeepSeek R1, которой нужны 1,3 Тбайт памяти, в теории можно запустить на кластере из 170 Raspberry Pi 5 с 8 Гбайт. Скорость сети и задержка могут снизить качество работы модели, и разработчики Exo предупреждают, что устройства небольшой производительности способны замедлить ИИ, но с каждым добавленным в сети устройством общая производительность увеличивается. Нельзя также забывать об угрозах безопасности, которые неизбежно возникают при совместном выполнении рабочих нагрузок на нескольких машинах. И даже с учётом этих оговорок Exo представляется перспективной альтернативой облачным ресурсам.

NASA наделило рой спутников коллективным «разумом» и испытало технологию в космосе

Новую и недавно испытанную технологию NASA по распределённому автоматическому роевому управлению множеством спутников в общих чертах можно описать лозунгом «Общайтесь между собой, будьте на одной волне и работайте вместе, чтобы выполнить работу!». Такой подход позволяет отдельным космическим аппаратам принимать независимые решения, сотрудничая друг с другом для достижения общих целей и всё это без участия человека.

 Источник изображения: NASA

Источник изображения: NASA

Технология DSA (Distributed Spacecraft Autonomy) была испытана в малом масштабе в космосе на орбите Земли и в несколько большем — в лаборатории NASA. Испытания в космосе проводились с августа 2023 года по май 2024 года (четыре кубсата NASA Starling были запущены ракетой Electron компании Rocket Lab в июле 2023 года). Стендовые испытания на Земле ведутся около двух лет, и их масштаб постепенно расширяется. В совокупности эти два подхода позволили NASA продвинуться вперёд в создании распределённых вычислительных мощностей для спутниковых группировок.

На орбите Земли четыре кубсата впервые автономно провели научное исследование ионосферы. Программное обеспечение не содержало подробного плана работ — каждый из спутников самостоятельно принимал решения по коррекции орбиты, обмениваясь данными с другими аппаратами в рое. Спутники принимали сигналы GPS и оценивали их задержки, которые изменялись в зависимости от плотности и состояния ионосферы планеты. На основании собранных данных, а также обмена ими между аппаратами, каждый спутник формировал своё собственное исследование, результатами которого делился с остальными. Совместно они планировали дальнейшие шаги.

В лаборатории NASA исследователи собрали имитацию роя спутников в серверной стойке, используя бортовые компьютеры кубсатов. Этот рой тестировался в моделируемых условиях низкой и высокой окололунной орбиты. Перед системой стояли задачи создания распределённой сети для оказания навигационных услуг в окололунном пространстве и на поверхности Луны, а также координации времени на спутниках (низкая гравитация заставляет часы на Луне «тикать» быстрее). Моделирование показало, что автоматическая система распределения задач в роевой группировке без участия человека успешно справляется с управлением 60 спутниками. На следующем этапе NASA планирует увеличить их число до 100 и продолжить наращивание группировки.

«Технология распределённой автономии космических аппаратов действительно уникальна, — поясняют в агентстве. — Программное обеспечение наделяет спутниковый рой научной задачей и “разумом” для её выполнения». В будущем число спутников станет слишком большим для контроля со стороны операторов, и к этому лучше подготовиться заранее.


window-new
Soft
Hard
Тренды 🔥
Студия ветерана Blizzard анонсировала динамичный изометрический боевик Arkheron — смесь Diablo и королевской битвы 6 ч.
Даже авторы сценария The Wolf Among Us 2 не знают, что происходит с игрой 7 ч.
Nothing анонсировала OS 4.0 — интерфейс стал проще, а камера умнее 8 ч.
Paradox добавила возмутившие фанатов платные кланы в стандартное издание Vampire: The Masquerade — Bloodlines 2 и анонсировала два сюжетных DLC 9 ч.
Жертвы утечки данных Facebook через Cambridge Analytica начали получать выплаты от Цукерберга 9 ч.
В мессенджере Max начинаются «открытые» тесты каналов — создавать их разрешат блогерам из реестра РКН 10 ч.
В России выплатили первую зарплату в цифровых рублях 11 ч.
На официальном сайте Like a Dragon засветилась Yakuza Kiwami 3 — Ryu Ga Gotoku Studio готовит анонс ремейка Yakuza 3 11 ч.
Rutube объяснил: пиратский контент на хостинг закачивают пользователи, но Netflix пока не жалуется 11 ч.
Microsoft обратилась к ИИ от Anthropic для Visual Studio Code — OpenAI больше не в почёте 12 ч.
Новая статья: Обзор «золотого» блока питания GamerStorm PQ1000G (PQA00G-FD) с разъемом 12V-2x6 5 ч.
Глава NVIDIA разочарован запретом Китая на покупку RTX Pro 6000D, но все вопросы будут решаться на высшем уровне 5 ч.
Журналисты протестировали Apple Watch Series 11, Ultra 3 и SE 3 — всем нравится младшая модель 6 ч.
CoreWeave инвестирует ещё £1,5 млрд в британские ИИ ЦОД 6 ч.
Российский специалист по ремонту ПК-оборудования VIK-on выпустил DDR5-тестер для ноутбуков 6 ч.
Garmin выпустила смарт-часы Venu 4 — улучшенные функции, светодиодный фонарик и цена от $550 6 ч.
iPhone 17 Pro обласкали в первых обзорах: «значительное обновление, вызывающее восторг» 6 ч.
СМИ и блогеры протестировали iPhone Air: «ультратонкий смартфон не без компромиссов» 6 ч.
Вышли первые обзоры iPhone 17: «лучший вариант базовой модели за последние годы» 7 ч.
Patriot представила два PCIe 5.0 SSD: Viper PV563 среднего уровня и PA523 — начального 7 ч.