Сегодня 02 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Современную ИИ-модель запустили на крошечном компьютере Raspberry Pi Zero — непрактично, но работает

Энтузиаст Бинь Фам (Binh Pham) создал USB-устройство на основе одноплатного компьютера Raspberry Pi Zero, на котором локально запускается большая языковая модель искусственного интеллекта, генерирующая художественные тексты.

 Источник изображения: youtube.com/@build_with_binh

Источник изображения: youtube.com/@build_with_binh

Программную часть проекта автор разработал с помощью библиотеки llama.cpp и утилиты llamafile — они предназначены для вывода больших языковых моделей ИИ. Это оказалось непростой задачей, поскольку у Raspberry Pi Zero всего 512 Мбайт оперативной памяти и процессор с устаревшей архитектурой ARMv6, что помешало компиляции проекта в исходном варианте. Чтобы обойти эти ограничения, энтузиасту пришлось преобразовать оптимизированный для ARMv8 набор инструкций в llama.cpp и удалить оттуда все нотации и механизмы оптимизации, предназначенные для современного оборудования.

Сам одноплатный компьютер Raspberry Pi Zero и плату расширения с разъёмом USB для подключения к современным компьютерам Бинь Фам поместил в распечатанный на 3D-принтере корпус. Из-за скромных вычислительных ресурсов пришлось ограничить контекст 64 токенами и использовать модели, содержащие от 15 млн до 136 млн параметров. Самая маленькая — Tiny15M — показала максимальную скорость среди всех протестированных моделей: 223 мс на токен. Для Lamini-T5-Flan-77M этот показатель составил 2,5 с на токен, а для SmolLM2-136M — 2,2 с на токен.

При такой скорости работы устройство трудно назвать практичным, но автор проекта решил не останавливаться на достигнутом. Он посчитал, что управлять ИИ через интерфейс командной строки недостаточно удобно, и предложил более комфортный способ. Чтобы отправить запрос, пользователю необходимо создать в указанном расположении пустой текстовый файл, имя которого служит запросом к модели. Обнаружив файл, система отправляет запрос к ИИ и записывает его ответ в содержимое того же файла.

Своим проектом Бинь Фам решил показать, каким может стать взаимодействие с локальными моделями ИИ в будущем.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В Threads появились собственные личные сообщения — без перехода в Instagram 5 ч.
Одной из двух замороженных игр People Can Fly была Outriders 2 — подробности отменённого сиквела 7 ч.
Telegram добавил списки задач и посты от подписчиков — на последних можно зарабатывать 7 ч.
Bloomberg раскрыл список «очень состоятельных» претендентов на покупку TikTok в США 7 ч.
Rockstar вспомнила о Red Dead Online — для мультиплеерного боевика вышло первое за долгое время крупное обновление 8 ч.
Психологический хоррор Dead Take сотрёт границу между кино и играми — в главных ролях оказались звёзды Baldur’s Gate 3 и Clair Obscur: Expedition 33 10 ч.
Nvidia выпустила драйвер с поддержкой GeForce RTX 5050 11 ч.
System Shock 2: 25th Anniversary Remaster получила новую дату выхода на PlayStation, Xbox и Nintendo Switch 11 ч.
Разработчик конфиденциальных сервисов Proton решил засудить Apple за недобросовестную конкуренцию 12 ч.
Новый план Huawei по «захвату мира»: компания открыла исходный код своих ИИ-моделей 13 ч.
Федеральный суд в США отказался снять обвинения с Huawei в нарушении санкций 14 мин.
Задняя панель Nothing Phone 3 стала больше похожа на экран смартфона 50 мин.
Новая статья: Обзор смартфона HONOR 400 Pro: настоящая уличная магия 4 ч.
Apple оштрафовали на $110 млн за незаконное использование технологии связи 20-летней давности 5 ч.
Новая статья: Обзор системного блока Bloody BD-PC CZ79C3: главное — настрой! 6 ч.
Apple обвинила экс-инженера Vision Pro в краже тысяч секретных файлов перед переходом к конкуренту 6 ч.
Отечественный квантовый процессор с наибольшим числом кубитов прошёл испытания и готов к масштабированию 8 ч.
Nothing представила накладные наушники Headphone (1) — аналоговое управление, звук KEF и автономность до 80 часов за €299 9 ч.
Nothing представила флагманский Phone (3) с матричным экраном и четвёркой 50-Мп камер за $800 9 ч.
Marshall представила портативную колонку Middleton II с автономностью до 30 часов и LE Audio — она работает даже под водой 10 ч.