Сегодня 06 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Современную ИИ-модель запустили на крошечном компьютере Raspberry Pi Zero — непрактично, но работает

Энтузиаст Бинь Фам (Binh Pham) создал USB-устройство на основе одноплатного компьютера Raspberry Pi Zero, на котором локально запускается большая языковая модель искусственного интеллекта, генерирующая художественные тексты.

 Источник изображения: youtube.com/@build_with_binh

Источник изображения: youtube.com/@build_with_binh

Программную часть проекта автор разработал с помощью библиотеки llama.cpp и утилиты llamafile — они предназначены для вывода больших языковых моделей ИИ. Это оказалось непростой задачей, поскольку у Raspberry Pi Zero всего 512 Мбайт оперативной памяти и процессор с устаревшей архитектурой ARMv6, что помешало компиляции проекта в исходном варианте. Чтобы обойти эти ограничения, энтузиасту пришлось преобразовать оптимизированный для ARMv8 набор инструкций в llama.cpp и удалить оттуда все нотации и механизмы оптимизации, предназначенные для современного оборудования.

Сам одноплатный компьютер Raspberry Pi Zero и плату расширения с разъёмом USB для подключения к современным компьютерам Бинь Фам поместил в распечатанный на 3D-принтере корпус. Из-за скромных вычислительных ресурсов пришлось ограничить контекст 64 токенами и использовать модели, содержащие от 15 млн до 136 млн параметров. Самая маленькая — Tiny15M — показала максимальную скорость среди всех протестированных моделей: 223 мс на токен. Для Lamini-T5-Flan-77M этот показатель составил 2,5 с на токен, а для SmolLM2-136M — 2,2 с на токен.

При такой скорости работы устройство трудно назвать практичным, но автор проекта решил не останавливаться на достигнутом. Он посчитал, что управлять ИИ через интерфейс командной строки недостаточно удобно, и предложил более комфортный способ. Чтобы отправить запрос, пользователю необходимо создать в указанном расположении пустой текстовый файл, имя которого служит запросом к модели. Обнаружив файл, система отправляет запрос к ИИ и записывает его ответ в содержимое того же файла.

Своим проектом Бинь Фам решил показать, каким может стать взаимодействие с локальными моделями ИИ в будущем.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Акции Microsoft установили новый рекорд стоимости вопреки падающему рынку 19 мин.
Apple представила данные о $1,3 трлн оборота App Store перед WWDC25 10 ч.
В России заработала система блокировки мошеннических сайтов и приложений 15 ч.
AMD выпустила драйвер с поддержкой видеокарт Radeon RX 9060 XT и Radeon AI Pro R9700 15 ч.
Классические Baldur’s Gate, EA Sports FC 25 и четыре новых релиза: Microsoft раскрыла, чем порадует подписчиков Game Pass в начале июня 16 ч.
Живописное приключение Sword of the Sea от создателей Abzu и The Pathless выглядит как наследник Journey — новый трейлер и дата выхода 18 ч.
Американский Институт безопасности ИИ больше не сосредоточен на безопасности ИИ 18 ч.
Perplexity анонсировала заменитель Google Chrome — ИИ-браузер Comet 19 ч.
Reddit решила засудить Anthropic за чрезмерную активность ИИ-краулеров 19 ч.
Авторы No More Heroes и Lollipop Chainsaw анонсировали Romeo is a Dead Man — безумный экшен с гротескным насилием и чёрным юмором 20 ч.
Созданы первые устойчивые к ошибкам фотонные квантовые процессоры — миллионы кубитов уже не за горами 13 мин.
Castrol запустила сервис управления оборотом жидкостей для охлаждения дата-центров 42 мин.
Новый глава Intel сосредоточен на повышении прибыльности компании 4 ч.
Внезапный конфликт Трампа и Маска моментально снизил капитализацию Tesla на $152 млрд 5 ч.
Министр торговли США призвал быстрее строить предприятия по выпуску чипов и лучше следить за соблюдением санкций в Китае 6 ч.
Новая статья: Виртуальная нереальность 11 ч.
Apple Watch считают калории «на глаз»: учёные выявили погрешность почти в 30 % 13 ч.
Основатель DeviantArt представил «холст» для цифрового искусства за $22 000 15 ч.
Nothing представит 1 июля дебютные накладные наушники Headphone (1) 16 ч.
Ремонт Nintendo Switch 2 в некоторых случаях обойдется почти вдвое дороже, чем оригинальной Switch 16 ч.