Сегодня 31 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Hardware

Современную ИИ-модель запустили на крошечном компьютере Raspberry Pi Zero — непрактично, но работает

Энтузиаст Бинь Фам (Binh Pham) создал USB-устройство на основе одноплатного компьютера Raspberry Pi Zero, на котором локально запускается большая языковая модель искусственного интеллекта, генерирующая художественные тексты.

 Источник изображения: youtube.com/@build_with_binh

Источник изображения: youtube.com/@build_with_binh

Программную часть проекта автор разработал с помощью библиотеки llama.cpp и утилиты llamafile — они предназначены для вывода больших языковых моделей ИИ. Это оказалось непростой задачей, поскольку у Raspberry Pi Zero всего 512 Мбайт оперативной памяти и процессор с устаревшей архитектурой ARMv6, что помешало компиляции проекта в исходном варианте. Чтобы обойти эти ограничения, энтузиасту пришлось преобразовать оптимизированный для ARMv8 набор инструкций в llama.cpp и удалить оттуда все нотации и механизмы оптимизации, предназначенные для современного оборудования.

Сам одноплатный компьютер Raspberry Pi Zero и плату расширения с разъёмом USB для подключения к современным компьютерам Бинь Фам поместил в распечатанный на 3D-принтере корпус. Из-за скромных вычислительных ресурсов пришлось ограничить контекст 64 токенами и использовать модели, содержащие от 15 млн до 136 млн параметров. Самая маленькая — Tiny15M — показала максимальную скорость среди всех протестированных моделей: 223 мс на токен. Для Lamini-T5-Flan-77M этот показатель составил 2,5 с на токен, а для SmolLM2-136M — 2,2 с на токен.

При такой скорости работы устройство трудно назвать практичным, но автор проекта решил не останавливаться на достигнутом. Он посчитал, что управлять ИИ через интерфейс командной строки недостаточно удобно, и предложил более комфортный способ. Чтобы отправить запрос, пользователю необходимо создать в указанном расположении пустой текстовый файл, имя которого служит запросом к модели. Обнаружив файл, система отправляет запрос к ИИ и записывает его ответ в содержимое того же файла.

Своим проектом Бинь Фам решил показать, каким может стать взаимодействие с локальными моделями ИИ в будущем.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Голливудские студии перенаправили монетизацию фейковых трейлеров на YouTube себе в карман 14 мин.
Франция оштрафовала Apple на €150 млн за ограничение таргетинга в iOS 15 мин.
Билл Гейтс хотел бы превратить Microsoft в ИИ-компанию и заработать миллиарды на «эскизных идеях» 2 ч.
«Вы объединяете мир»: в Death Stranding сыграло более 20 миллионов человек 2 ч.
«Яндекс» выпустил открытую ИИ-модель YandexGPT 5 Lite: её можно запускать на обычной рабочей станции 3 ч.
«Яндекс» выпустила ИИ-модель YandexGPT 5 Lite — она поможет ускорить IT-разработку и исследования 4 ч.
Split Fiction установила три мировых рекорда и попала в «Книгу рекордов Гиннесса» 4 ч.
Monster Hunter Wilds продолжает бить рекорды Capcom — продажи игры за месяц достигли 10 миллионов копий 6 ч.
Китайская Zhipu AI ворвалась в ИИ-гонку с бесплатным ИИ-агентом AutoGLM Rumination 6 ч.
Бренды вернули рекламу в X с минимальными бюджетами, лишь бы не разгневать Илона Маска 7 ч.
Возврат к корням: Vantage Towers разместила базовые станции на деревянных столбах 28 мин.
Ryzen 9 9950X3D с помощью обычного утюга и лески заставили разогнаться почти до 6 ГГц 35 мин.
Arm собралась руками Nvidia захватить половину рынка процессоров для дата-центров 49 мин.
Доступная раскладушка Samsung Galaxy Z Flip 7 FE будет выглядеть точно как прошлогодний Z Flip 6 3 ч.
На заводе «ЦТС» в Калининградской области начали выпускать средние серверных плат 3 ч.
Qualcomm представит 2 апреля новый процессор для бюджетных флагманов — преемника Snapdragon 8s Gen 3 4 ч.
Huawei отчиталась о рухнувшей на 28 % годовой прибыли — деньги ушли на исследования и разработки 4 ч.
Zeekr анонсировала зарядные станции с рекордной мощностью в 1,2 МВт, но подходящих электромобилей пока не существует 4 ч.
Oppo раскрыла дизайн смартфонов серии Oppo Find X8 в преддверии анонса 5 ч.
Японский консорциум предложил построить плавучий ЦОД с питанием от возобновляемых источников в Иокогаме 7 ч.