Сегодня 24 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

AMD рассказала, как запустить ИИ-бота локально на ПК с Ryzen или Radeon — у NVIDIA всё проще

Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.

 Источник изображений: AMD

Источник изображений: AMD

Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.

Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.

Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.

Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Valve сделала магазин Steam более динамичным и персонализированным — переработанное меню вышло из «беты» 55 мин.
YouTube объявил амнистию для блогеров, заблокированных за фейки о COVID-19 и выборах 2 ч.
Японский Amazon рассекретил дату выхода Nioh 3 до официального анонса 2 ч.
«Google Фото» теперь редактирует снимки по голосовым командам — функция вышла за пределы Pixel 4 ч.
Yakuza Kiwami 3 выйдет с переводом на русский и сюжетным дополнением про главного злодея — дата релиза и первый трейлер ремейка Yakuza 3 5 ч.
Китайский пользователь первым в истории Steam собрал на аккаунте более 40 000 игр 15 ч.
ChatGPT обманом заставили пройти CAPTCHA — интернет могут наводнить фейковые публикации от ИИ 15 ч.
«Google Документы» получат дизайн с стиле Material 3 Expressive и новые фильтры поиска 16 ч.
Голосовой ИИ-помощник Gemini Live поможет в прохождении игр на Android 17 ч.
В WhatsApp встроили бесплатный переводчик сообщений, в том числе на русский 17 ч.
Raspberry Pi готовит вычислительный модуль CM0 с поддержкой Wi-Fi 4 и Bluetooth 4.2 LE 11 мин.
На краю Солнечной системы засекли вероятный взрыв первичной чёрной дыры — это приблизит учёных к пониманию тёмной материи 44 мин.
Гигаватт в неделю: OpenAI задумала развернуть крупнейшее производство ИИ-инфраструктуры 56 мин.
Samsung вернулась в гонку за рынок памяти для ИИ — её доля на рынке HBM превысит 30 % в следующем году 2 ч.
В России поступили в продажу смартфоны Infinix HOT 60 Pro и HOT 60 Pro+ по цене от 12 990 рублей 2 ч.
OpenAI, Oracle и SoftBank построят в США ещё пять ИИ ЦОД для проекта Stargate 2 ч.
В MIT создали магнитный транзистор с памятью — на порядок мощнее всех существующих 2 ч.
iFixit показала внутреннее устройство iPhone 17 Pro и высоко оценила его ремонтопригодность 2 ч.
Luckfox представила PicoKVM — миниатюрный IP-KVM с сенсорным дисплеем и ИИ-блоком 3 ч.
Представлена 360-градусная экшн-камера GoPro Max2 с «настоящим 8К» за $500 3 ч.