Сегодня 31 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

AMD рассказала, как запустить ИИ-бота локально на ПК с Ryzen или Radeon — у NVIDIA всё проще

Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.

 Источник изображений: AMD

Источник изображений: AMD

Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.

Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.

Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.

Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Яндекс» выпустила ИИ-модель YandexGPT 5 Lite — она поможет ускорить IT-разработку и исследования 6 мин.
Split Fiction установила три мировых рекорда и попала в «Книгу рекордов Гиннесса» 11 мин.
Monster Hunter Wilds продолжает бить рекорды Capcom — продажи игры за месяц достигли 10 миллионов копий 2 ч.
Китайская Zhipu AI ворвалась в ИИ-гонку с бесплатным ИИ-агентом AutoGLM Rumination 2 ч.
Бренды вернули рекламу в X с минимальными бюджетами, лишь бы не разгневать Илона Маска 3 ч.
Российский футбольный союз раскрыл, когда ждать релиз отечественного аналога FIFA и EA Sports FC 3 ч.
Apple добавит ИИ-врача в приложение «Здоровье» для iPhone 5 ч.
Изменения в лицензионной политике Broadcom VMware побуждают мелких и средних клиентов искать альтернативное решение 21 ч.
IBM сокращает персонал в США, но активно нанимает малоопытных сотрудников в Индии 30-03 01:58
Новая статья: Assassin’s Creed Shadows — мы ждали этого почти двадцать лет. Рецензия 30-03 00:03
Выручка Huawei выросла на 22,4 %, но прибыль упала на 28 % по итогам прошлого года 2 мин.
Zeekr анонсировала зарядные станции с рекордной мощностью в 1,2 МВт, но подходящих электромобилей пока не существует 8 мин.
Oppo раскрыла дизайн смартфонов серии Oppo Find X8 в преддверии анонса 47 мин.
Intel запустит массовое производство 3-нм чипов в Европе в этом году 3 ч.
Японский консорциум предложил построить плавучий ЦОД с питанием от возобновляемых источников в Иокогаме 3 ч.
Новые нормы энергоэффективности ИИ-ускорителей угрожают бизнесу NVIDIA в Китае 3 ч.
Samsung представила холодильник, который поможет найти потерявшийся смартфон 3 ч.
XPeng: Рынок летающих электромобилей в два раза обойдёт по оборотам автомобильный, но не скоро 6 ч.
Японские власти решились выделить ещё $5,4 млрд поддержки для производителя 2-нм чипов Rapidus 7 ч.
Новая статья: Обзор моноблока MSI PRO AP242P 14M: для тех, кому нужны хороший экран и повышенный комфорт 14 ч.