Nvidia добавила в ChatRTX голосовой ввод, поддержку нейросети Google Gemma и поиск фотографии на ПК с помощью OpenAI CLIP

Компания Nvidia обновила своё приложение ChatRTX для запуска локальных ИИ-чат-ботов, добавив поддержку новых ИИ-моделей. Изначально приложение предлагало поддержку ИИ-моделей Mistral и Llama 2. Обновлённая версия получила поддержку моделей Gemma от Google, ChatGLM3, а также CLIP от OpenAI, упрощающей поиск фотографий и изображений.

Nvidia представила первую версию ChatRTX в феврале этого года в качестве демонстрационного приложения под названием Chat with RTX. Для его работы требуется видеокарта из серии GeForce RTX 3000 или RTX 4000 с как минимум 8 Гбайт памяти. Приложение создаёт локальный сервер для чат-бота, доступ к которому осуществляется через браузер. Он может обрабатывать файлы на компьютере, видео из YouTube, а также отвечать на вопросы, выдавая релевантные ответы на основе видеороликов и документов пользователя.

ИИ-модель Gemma от Google была создана для работы на базе мощных ноутбуков и настольных ПК. Она представляет собой открытую версию ИИ-модели Gemini, и подойдёт для решения относительно небольших задач, например, для подготовки конспектов больших текстов. ChatGLM3, в свою очередь, является открытой двуязычной (поддерживает английский и китайский) большой языковой моделью. OpenAI Contrastive Language-Image (CLIP) позволяет пользователю искать фотографии и изображения на компьютере.

Также в новой версии ChatRTX добавлена поддержка голосовых запросов через систему распознавания речи Whisper. Скачать ChatRTX можно с официального сайта Nvidia.