Сегодня 27 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Современную ИИ-модель запустили на крошечном компьютере Raspberry Pi Zero — непрактично, но работает

Энтузиаст Бинь Фам (Binh Pham) создал USB-устройство на основе одноплатного компьютера Raspberry Pi Zero, на котором локально запускается большая языковая модель искусственного интеллекта, генерирующая художественные тексты.

 Источник изображения: youtube.com/@build_with_binh

Источник изображения: youtube.com/@build_with_binh

Программную часть проекта автор разработал с помощью библиотеки llama.cpp и утилиты llamafile — они предназначены для вывода больших языковых моделей ИИ. Это оказалось непростой задачей, поскольку у Raspberry Pi Zero всего 512 Мбайт оперативной памяти и процессор с устаревшей архитектурой ARMv6, что помешало компиляции проекта в исходном варианте. Чтобы обойти эти ограничения, энтузиасту пришлось преобразовать оптимизированный для ARMv8 набор инструкций в llama.cpp и удалить оттуда все нотации и механизмы оптимизации, предназначенные для современного оборудования.

Сам одноплатный компьютер Raspberry Pi Zero и плату расширения с разъёмом USB для подключения к современным компьютерам Бинь Фам поместил в распечатанный на 3D-принтере корпус. Из-за скромных вычислительных ресурсов пришлось ограничить контекст 64 токенами и использовать модели, содержащие от 15 млн до 136 млн параметров. Самая маленькая — Tiny15M — показала максимальную скорость среди всех протестированных моделей: 223 мс на токен. Для Lamini-T5-Flan-77M этот показатель составил 2,5 с на токен, а для SmolLM2-136M — 2,2 с на токен.

При такой скорости работы устройство трудно назвать практичным, но автор проекта решил не останавливаться на достигнутом. Он посчитал, что управлять ИИ через интерфейс командной строки недостаточно удобно, и предложил более комфортный способ. Чтобы отправить запрос, пользователю необходимо создать в указанном расположении пустой текстовый файл, имя которого служит запросом к модели. Обнаружив файл, система отправляет запрос к ИИ и записывает его ответ в содержимое того же файла.

Своим проектом Бинь Фам решил показать, каким может стать взаимодействие с локальными моделями ИИ в будущем.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
VK привлекла 112 млрд рублей благодаря допэмиссии 34 мин.
Инфраструктура в публичном облаке России ежегодно увеличивается почти на треть 2 ч.
Хакеры могут захватить тысячи серверов — в популярном контроллере для удалённого управления найдена критическая уязвимость 3 ч.
Google выпустила приложение Doppl для виртуальной примерки нарядов 3 ч.
Ущерб российскому бизнесу от DDoS-атак утроился в 2025 году, и это не предел 5 ч.
Digital Realty выбрала HPE Private Cloud для модернизации своего парка ЦОД по всему миру 5 ч.
Минспорт разработал новый стандарт физподготовки киберспортсменов — сколько нужно накликать за 30 секунд, чтобы получить квалификацию 5 ч.
Google доработала и перезапустила ИИ-функцию Ask Photos для поиска фото по содержимому 6 ч.
В очаровательном приключении The Plucky Squire появился хардкорный режим для тех, кому игра показалась слишком лёгкой 7 ч.
Страшно интересно: Capcom показала первый геймплей Resident Evil Requiem и раскрыла подробности амбициозного хоррора 8 ч.
Deloitte: прожорливость ИИ ЦОД может привести к перегрузке энергетической инфраструктуры США 7 мин.
Cooler Master выпустила компактный корпус NR200P V3 с поддержкой больших и мощных видеокарт 54 мин.
Китайский «Большой фонд» сосредоточится на импортозамещении в литографии и проектировании чипов 2 ч.
«Яндекс Фабрика» выпустила первые Bluetooth-колонки под брендом Commo — от 3490 рублей 2 ч.
Asus выпустила GeForce RTX 5070 Ti и RTX 5090 со съёмным коннектором GC-HPWR для скрытого питания 3 ч.
«Удомля-3»: в Тверской области заработала третья очередь дата-центра «РТК-ЦОД» 3 ч.
Франция создаст многоразовый космоплан, похожий на «Шаттл» — деньги на него уже нашли 3 ч.
К 2050 году в мире будет 4 млрд роботов с ИИ — и TSMC планирует на этом хорошо заработать 4 ч.
Плёночные фотографии сравнили с имитацией фотоплёнки у смартфона Honor 400 Pro 5 ч.
Взрыв забросил обломки Starship в Мексику — местные начали сдавать в цветмет 5 ч.