Сегодня 23 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

AMD рассказала, как запустить ИИ-бота локально на ПК с Ryzen или Radeon — у NVIDIA всё проще

Недавно NVIDIA анонсировала приложение Chat with RTX для запуска локальных чат-ботов на компьютерах с видеокартами RTX. Теперь компания AMD рассказала, как локально запустить ИИ-чат-бота на одной из открытых больших языковых моделей (LLM) с помощью её процессоров и видеокарт. Компания предлагает прибегнуть к помощи стороннего приложения LM Studio.

 Источник изображений: AMD

Источник изображений: AMD

Для запуска ИИ-чат-бота потребуется система с ИИ-ускорителем Ryzen AI, который имеется лишь в некоторых APU Ryzen 7000-й и 8000-й серий (Phoenix и Hawk Point), либо видеокарта AMD Radeon RX 7000-й серии.

Первым делом нужно установить LM Studio для Windows, а для ускорения ИИ силами видеокарты потребуется версия с поддержкой ROCm. Далее необходимо ввести в строку поиска TheBloke/OpenHermes-2.5-Mistral-7B-GGUF для запуска бота на базе Mistral 7b или TheBloke/Llama-2-7B-Chat-GGUF для использования LLAMA v2 7b, в зависимости от интересующей модели. Затем нужно найти в правой панели и загрузить файл модели Q4 K M. Наконец, можно перейти на вкладку чата и приступить к общению с ИИ.

Для ускорения ИИ посредством видеокарты Radeon RX 7000-й серии необходимо проделать ещё несколько шагов: выставить в настройках максимальное значение GPU Offload и убедиться, что в блоке Detected GPU Type отображается AMD ROCm.

Таким образом, в отличие от NVIDIA, компания AMD не готова пока представить собственное приложение для общения с чат-ботом, но это не значит, что этого не случится в будущем.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«История выглядит намного мрачнее, чем я думал»: сюжетный трейлер Borderlands 4 удивил игроков 8 мин.
Huawei выпустила «безандроидную» бета-версию HarmonyOS 6 — пока только для разработчиков 2 ч.
Как избежать оборотных штрафов по 152-ФЗ и не сломать маркетинг: объясняют эксперты рынка, регуляторы и юристы 2 ч.
Новая статья: Deltarune — сила в добре. Рецензия 22-06 00:02
20 минут геймплея The Blood of Dawnwalker — амбициозной вампирской RPG от ведущих разработчиков The Witcher 3 и Cyberpunk 2077 21-06 23:48
Новая статья: Gamesblender № 731: процессор AMD в следующей Xbox, анонс ремейка Silent Hill и худшая игра года 21-06 23:33
В драйвере ISA-звуковой карты Creative Sound Blaster AWE32 исправили ошибку, найденную 25 лет назад 21-06 23:19
Би-би-си угрожает Perplexity судом из-за нарушения авторских прав при обучении нейросетей 21-06 22:08
Найден новый способ поиска простых чисел — теперь RSA-шифрование устоит перед квантовыми компьютерами 21-06 21:56
Китайская MiniMax представила ИИ-модель M1 — её обучение обошлось в 200 раз дешевле GPT-4 21-06 19:49
Предприятие OpenAI и Джони Айва столкнулось с первым иском, даже не успев ничего выпустить 14 мин.
Wildberries начнёт продавать SIM-карты под собственным брендом 22 мин.
NTT поглотит за $16 млрд дочернюю структуру NTT Data с целью усиления позиций в области ИИ 2 ч.
Microsoft и Tarana Wireless подключат африканские деревни к быстрому беспроводному интернету посредством ngFWA 2 ч.
Huawei выйдет в космос: китайские спутники заработают на операционной системе OpenHarmony 3 ч.
AAEON выпустила одноплатные компьютеры UP TWL и UP TWLS на базе Intel Twin Lake 3 ч.
Новая статья: Обзор видеокарты MSI GeForce RTX 5080 16G SUPRIM SOC: когда на меньшее не согласен 12 ч.
Meta ведёт переговоры о покупке венчурного фонда NFDG, у которого есть собственный ИИ-кластер Andromeda 13 ч.
Tesla запустила сервис роботакси в Техасе — пока с большими ограничениями 13 ч.
Илон Маск пообещал повысить частоту запусков Starship — это повышает риск новых провалов 15 ч.