Сегодня 22 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Современную ИИ-модель запустили на крошечном компьютере Raspberry Pi Zero — непрактично, но работает

Энтузиаст Бинь Фам (Binh Pham) создал USB-устройство на основе одноплатного компьютера Raspberry Pi Zero, на котором локально запускается большая языковая модель искусственного интеллекта, генерирующая художественные тексты.

 Источник изображения: youtube.com/@build_with_binh

Источник изображения: youtube.com/@build_with_binh

Программную часть проекта автор разработал с помощью библиотеки llama.cpp и утилиты llamafile — они предназначены для вывода больших языковых моделей ИИ. Это оказалось непростой задачей, поскольку у Raspberry Pi Zero всего 512 Мбайт оперативной памяти и процессор с устаревшей архитектурой ARMv6, что помешало компиляции проекта в исходном варианте. Чтобы обойти эти ограничения, энтузиасту пришлось преобразовать оптимизированный для ARMv8 набор инструкций в llama.cpp и удалить оттуда все нотации и механизмы оптимизации, предназначенные для современного оборудования.

Сам одноплатный компьютер Raspberry Pi Zero и плату расширения с разъёмом USB для подключения к современным компьютерам Бинь Фам поместил в распечатанный на 3D-принтере корпус. Из-за скромных вычислительных ресурсов пришлось ограничить контекст 64 токенами и использовать модели, содержащие от 15 млн до 136 млн параметров. Самая маленькая — Tiny15M — показала максимальную скорость среди всех протестированных моделей: 223 мс на токен. Для Lamini-T5-Flan-77M этот показатель составил 2,5 с на токен, а для SmolLM2-136M — 2,2 с на токен.

При такой скорости работы устройство трудно назвать практичным, но автор проекта решил не останавливаться на достигнутом. Он посчитал, что управлять ИИ через интерфейс командной строки недостаточно удобно, и предложил более комфортный способ. Чтобы отправить запрос, пользователю необходимо создать в указанном расположении пустой текстовый файл, имя которого служит запросом к модели. Обнаружив файл, система отправляет запрос к ИИ и записывает его ответ в содержимое того же файла.

Своим проектом Бинь Фам решил показать, каким может стать взаимодействие с локальными моделями ИИ в будущем.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Яндекс» выпустит «Нейроаналитика» — ИИ-агента для визуализации данных 10 мин.
Дикторов в московском метро дополнит ИИ — тестирование уже началось 25 мин.
Функции складного iPhone станут приоритетом при разработке iOS 27 40 мин.
Игрой Saber Interactive по «Восставшему из ада» оказался хоррор нового уровня Clive Barker’s Hellraiser: Revival — первый трейлер и подробности 2 ч.
Хакеры научились обходить многофакторную авторизацию FIDO 2 ч.
Почти идеальный финал, крутой геймплей и 20 часов на сюжет: Techland раскрыла новые подробности Dying Light: The Beast 3 ч.
В Spotify в профилях покойных музыкантов стали появляться песни, созданные ИИ — сервис «принимает меры» 3 ч.
Госдума окончательно запретила россиянам искать экстремистские материалы в интернете 3 ч.
Один из самых драматичных сюжетных поворотов Clair Obscur: Expedition 33 появился в игре благодаря шутке 4 ч.
Сериал по Mass Effect в надёжных руках: производством шоу займётся команда «Фоллаут» 6 ч.
Всё своё, от «железа» до ПО: «Группа Астра» и YADRO строят полностью российское облако 7 мин.
Sharp представили VR-перчатки, которые передают тактильные ощущения от прикосновений к виртуальным объектам 16 мин.
Samsung теряет рынок складных смартфонов — в этом году её доля почти сравняется с Huawei 20 мин.
Elgato представила карту видеозахвата Game Capture 4K S с поддержкой 4K при 60 FPS по цене $160 25 мин.
xAI купила за $10 территорию бывшей газовой электростанции неподалёку от будущего ИИ ЦОД 39 мин.
Nothing представила смарт-часы CMF Watch 3 Pro за $99 с увеличенным экраном, но без сменного безеля 2 ч.
Два миллиона GPU и 4,5 ГВт: Oracle и OpenAI договорились построить в США дата-центры для ИИ 4 ч.
Galax GeForce RTX 5080 NOX OC Black Edition получила зеркальную панель и магнитный кожух 4 ч.
Устройства Google Home и Nest перестали понимать команды — и никто не знает почему 4 ч.
Учёные впервые увидели звезду-компаньона у Бетельгейзе — жить ей осталось недолго 4 ч.