В стремлении обеспечить своим сотрудникам более широкий доступ к графическим процессорам (GPU) для задач инференса, то есть запуска обученных моделей искусственного интеллекта, Apple разработала систему Minions. Она позволяет объединять ресурсы простаивающих GPU для выполнения рабочих нагрузок ИИ.
Источник изображения: apple.com
Система Apple Minions уже помогла сделать вычислительные мощности GPU более доступными для различных подразделений компании. «До развёртывания этой системы выполнения некоторых задач инференса приходилось ждать в очереди более десяти часов из-за ограниченности централизованных ресурсов GPU. Благодаря Minions выполнение задач зачастую начинается уже через несколько минут, поскольку система задействует простаивающие компьютеры Mac», — рассказали в компании.
Недавно выпущенные компьютеры Mac mini и Mac Studio поддерживают объединение в кластеры с использованием технологии RDMA (Remote Direct Memory Access) через Thunderbolt 5. Это позволяет наращивать вычислительные мощности и объём памяти для решения единой задачи ИИ — например, для загрузки модели, которая не помещается в память одного устройства.
Minions позволяет создавать виртуальное облако GPU на базе подключённых к системе компьютеров Mac, формируя отказоустойчивый пул вычислительных узлов в рамках общей распределённой платформы. Таким образом, компьютеры не простаивают, а ресурсы GPU становятся доступными другим подразделениям компании. Основная цель системы — не столько запуск крупных моделей, сколько эффективное перераспределение незадействованных ресурсов в сети.
Кластер образуют четыре ключевых компонента: Minion Server, PostgreSQL Metadata Store, Minion Executor и Minion Watchdog. Minion Server координирует работу сети, принимая запросы от пользователей и разбивая их на подзадачи. Minion Executor выполняет инференс на GPU, загружает данные в хранилище S3 и передаёт информацию о статусе выполнения Minion Server, который ведёт учёт метаданных в базе данных PostgreSQL. Наконец, Minion Watchdog следит за ходом процесса и в случае сбоев, например когда один из компьютеров Mac перестаёт отвечать, переназначает задачи на другие устройства. Статистика из баз данных выводится на информационные панели в Grafana, обеспечивая мониторинг в реальном времени.
Подход Apple, при котором приоритет отдаётся доступности и использованию свободных ресурсов, отличается от подхода Nvidia, для которой важны высокая пропускная способность, низкие задержки и эффективное использование GPU при работе с крупными моделями.