Компания Nvidia обновила своё приложение ChatRTX для запуска локальных ИИ-чат-ботов, добавив поддержку новых ИИ-моделей. Изначально приложение предлагало поддержку ИИ-моделей Mistral и Llama 2. Обновлённая версия получила поддержку моделей Gemma от Google, ChatGLM3, а также CLIP от OpenAI, упрощающей поиск фотографий и изображений.

Источник изображения: Nvidia

Nvidia представила первую версию ChatRTX в феврале этого года в качестве демонстрационного приложения под названием Chat with RTX. Для его работы требуется видеокарта из серии GeForce RTX 3000 или RTX 4000 с как минимум 8 Гбайт памяти. Приложение создаёт локальный сервер для чат-бота, доступ к которому осуществляется через браузер. Он может обрабатывать файлы на компьютере, видео из YouTube, а также отвечать на вопросы, выдавая релевантные ответы на основе видеороликов и документов пользователя.

ИИ-модель Gemma от Google была создана для работы на базе мощных ноутбуков и настольных ПК. Она представляет собой открытую версию ИИ-модели Gemini, и подойдёт для решения относительно небольших задач, например, для подготовки конспектов больших текстов. ChatGLM3, в свою очередь, является открытой двуязычной (поддерживает английский и китайский) большой языковой моделью. OpenAI Contrastive Language-Image (CLIP) позволяет пользователю искать фотографии и изображения на компьютере.

Также в новой версии ChatRTX добавлена поддержка голосовых запросов через систему распознавания речи Whisper. Скачать ChatRTX можно с официального сайта Nvidia.

Nvidia выпустила основанное на алгоритмах искусственного интеллекта приложение ChatRTX полтора месяца назад, но уже за такой непродолжительный срок была вынуждена исправить в нём две уязвимости — они предусматривали различные векторы атак, включая повышение привилегий и удалённое выполнение кода.

Источник изображения: BoliviaInteligente / unsplash.com

Программа ChatRTX, ранее носившая название Chat with RTX, дебютировала в феврале — она позволяет владельцам видеокарт Nvidia локально запускать чат-бот с ИИ. Для этого требуется видеокарта серий GeForce RTX 30 или 40 и не менее 8 Гбайт видеопамяти. Это, конечно, более скромное решение, чем чат-боты из облака, но возможность локального запуска компенсирует этот изъян.

В ранних версиях Nvidia ChatRTX до 0.2 присутствовали две уязвимости за номерами CVE-2024-0082 и CVE-2024-0083 с рейтингами соответственно 8,2 и 6,5 из 10. Первая позволяет осуществлять кражу и подмену данных и повышать привилегии пользователя; вторая — выполнять атаки типа «отказ в обслуживании» (DoS), похищать данные и производить удалённое выполнение кода.

В Nvidia уточнили, что реализовать подобные атаки возможно посредством запросов на открытие файлов и методом межсайтового скриптинга (XSS). Сведения о фактической компрометации каких-либо систем из-за этих уязвимостей отсутствуют. Чтобы избавиться от них, разработчик рекомендует обновить ChatRTX до версии 0.2, но несколько сбивает с толку его формулировка, что «последняя затронутая [уязвимостями] и обновлённая версия — 0.2». Возможно, лучше не просто обновить, но и переустановить приложение.