Сегодня 21 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

AMD рассказала, как запустить ИИ-бота локально на ПК с Ryzen или Radeon — у NVIDIA всё проще

Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.

 Источник изображений: AMD

Источник изображений: AMD

Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.

Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.

Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.

Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Анонсированы смартфоны Oppo K13 Turbo и K13 Turbo Pro с вентилятором, RGB-подсветкой и защитой от воды 2 ч.
Дефицитный электромобиль Xiaomi YU7 активизировал спекулянтов в Китае, но на них готовят управу 4 ч.
В Китае назревает технологический перегрев: Си Цзиньпин предостерёг регионы от избыточных инвестиций в ИИ и электромобили 4 ч.
Huawei догнала Apple по выручке от смарт-часов в России 5 ч.
Asus выпустила аниме-видеокарту GeForce RTX 5080 Hatsune Miku Edition за баснословные $2370 6 ч.
Защищённый смартфон FOSSiBOT F107 Pro с цветной камерой ночного видения Starlight Night Vision поступил в продажу — от $399 6 ч.
Asus представила 31,5-дюймовый 6K-монитор ProArt Display 6K PA32QCV для профессионалов за $1299 6 ч.
Fiat представил двухместный электромобиль Topolino без дверей для пляжного отдыха 7 ч.
10 долгих лет: состоялся официальный запуск экзафлопсного суперкомпьютера Aurora 7 ч.
Aker построит арктический ЦОД в норвежском Нарвике 7 ч.