Сегодня 08 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Современную ИИ-модель запустили на крошечном компьютере Raspberry Pi Zero — непрактично, но работает

Энтузиаст Бинь Фам (Binh Pham) создал USB-устройство на основе одноплатного компьютера Raspberry Pi Zero, на котором локально запускается большая языковая модель искусственного интеллекта, генерирующая художественные тексты.

 Источник изображения: youtube.com/@build_with_binh

Источник изображения: youtube.com/@build_with_binh

Программную часть проекта автор разработал с помощью библиотеки llama.cpp и утилиты llamafile — они предназначены для вывода больших языковых моделей ИИ. Это оказалось непростой задачей, поскольку у Raspberry Pi Zero всего 512 Мбайт оперативной памяти и процессор с устаревшей архитектурой ARMv6, что помешало компиляции проекта в исходном варианте. Чтобы обойти эти ограничения, энтузиасту пришлось преобразовать оптимизированный для ARMv8 набор инструкций в llama.cpp и удалить оттуда все нотации и механизмы оптимизации, предназначенные для современного оборудования.

Сам одноплатный компьютер Raspberry Pi Zero и плату расширения с разъёмом USB для подключения к современным компьютерам Бинь Фам поместил в распечатанный на 3D-принтере корпус. Из-за скромных вычислительных ресурсов пришлось ограничить контекст 64 токенами и использовать модели, содержащие от 15 млн до 136 млн параметров. Самая маленькая — Tiny15M — показала максимальную скорость среди всех протестированных моделей: 223 мс на токен. Для Lamini-T5-Flan-77M этот показатель составил 2,5 с на токен, а для SmolLM2-136M — 2,2 с на токен.

При такой скорости работы устройство трудно назвать практичным, но автор проекта решил не останавливаться на достигнутом. Он посчитал, что управлять ИИ через интерфейс командной строки недостаточно удобно, и предложил более комфортный способ. Чтобы отправить запрос, пользователю необходимо создать в указанном расположении пустой текстовый файл, имя которого служит запросом к модели. Обнаружив файл, система отправляет запрос к ИИ и записывает его ответ в содержимое того же файла.

Своим проектом Бинь Фам решил показать, каким может стать взаимодействие с локальными моделями ИИ в будущем.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Разработчик Baldur’s Gate 3 бросил тень на план Илона Маска «сделать игры снова великими» с помощью ИИ 34 мин.
У Gemini обнаружили уязвимость с подменой символов, но Google решила ничего не делать 37 мин.
Apple высмеяла Windows 11 в 8-минутном рекламном ролике про «синий экран смерти» 40 мин.
Activision отметит релиз Battlefield 6 неделей бесплатного доступа к Call of Duty: Black Ops 6 2 ч.
Страховые компании отказались работать с OpenAI и Anthropic — риски от внедрения ИИ не поддаются оценке 2 ч.
Claude Sonnet 4.5 научилась понимать намерения людей и «подгоняет» ответы в тестах 2 ч.
С начала года северокорейские хакеры украли криптовалюты на $2 млрд — это рекорд 4 ч.
Vampire Survivors получит большое обновление с онлайн-кооперативом и ответом на «животрепещущий вопрос, который нам задавали тысячи раз» 5 ч.
Atari уберёт классическую версию System Shock 2 из продажи в Steam, оставив только более дорогой ремастер 6 ч.
«Увидимся на поле боя, господа»: взрывной релизный трейлер Battlefield 6 готовит игроков к тотальной войне 7 ч.
Американские претензии к ASML из-за поставок оборудования в Китай обрушили акции компании 6 мин.
Представлен смартфон Realme 15 Pro в стиле «Игры престолов» 18 мин.
Onyx представила смартфоноподобную читалку Boox P6 Pro с цветным дисплеем, стилусом и связью 5G 27 мин.
Техногиганты США приостановили развитие ЦОД в Индии, хотя ранее обещали вложить в них миллиарды долларов 50 мин.
Ловкость рук и никакого мошенничества: мегасделки OpenAI на $1 трлн сводятся к передаче денег по кругу 58 мин.
Шведский консорциум изучит создание первых в стране ЦОД с питанием от SMR 2 ч.
Завтра Intel расскажет о процессорах Panther Lake, выпускаемых по технологии 18A 2 ч.
На Китай приходится более половины мировых инвестиций в полупроводниковые стартапы 3 ч.
Слухи о дороговизне 2-нм чипов, выпускаемых TSMC, оказались сильно преувеличены 3 ч.
До 16 ядер Zen 5 в AM5: AMD представила чипы Ryzen Embedded 9000 3 ч.