MWC 2018
2018
Computex
IFA 2018
Запуск больших языковых моделей искусственного интеллекта локально на ПК — задача, которая становится всё более востребованной. Для её решения AMD выпустила Gaia — программу с открытым исходным кодом, предназначенную для работы с локальными ИИ-моделями на компьютерах под управлением Windows.
Источник изображений: amd.com
Gaia предлагает дополнительную оптимизацию производительности для машин с процессорами Ryzen AI; вывод ИИ осуществляется при помощи средств Lemonade SDK. Программа позволяет адаптировать модели для различных целей: они могут составлять сводки больших текстов или обрабатывать сложные задачи, требующие умения рассуждать. Gaia работает через компонент Retrieval-Augmented Generation (RAG), объединяющий ИИ с базой знаний, благодаря чему пользователь получает более точные ответы на запросы в соответствии с контекстом.
RAG включает четыре агента:
- Simple Prompt Completion — обеспечивает прямое взаимодействие с моделью, предназначено для тестирования и оценки.
- Chaty — отвечает за интерфейс чат-бота.
- Clip — выполняет поиск по YouTube с функцией вопросов и ответов.
- Joker — генерирует шутки и добавляет чат-боту индивидуальности.
Gaia решает специализированные задачи ИИ с помощью Lemonade SDK, работая в различных средах выполнения. Lemonade открывает веб-сервис для языковой модели и взаимодействует с приложением Gaia через совместимый с OpenAI REST API. Приложение действует как ИИ-агент, который извлекает и обрабатывает данные, «векторизует» внешний контент (например, данные из GitHub, YouTube и текстовых файлов) и сохраняет его в локальном векторном индексе. Проще говоря, Gaia улучшает пользовательские запросы перед их обработкой ИИ-моделью, повышая точность и релевантность ответов.
Гибридный установщик, оптимизированный для систем с процессорами Ryzen, который позволяет Gaia использовать встроенный в Ryzen AI нейропроцессор (NPU) и интегрированную графику для вычислений. Локальный запуск ИИ-моделей имеет ряд преимуществ по сравнению с облачными сервисами: данные остаются защищёнными, уменьшается задержка, а в некоторых случаях повышается производительность. Кроме того, локальные модели не требуют подключения к интернету.
Источник:
