Alibaba выпустила ИИ-модели, которые могут распознавать изображения и вести диалог

Китайский технологический гигант Alibaba представил две языковые модели — Qwen Large Vision Language Model (Qwen-VL) и Qwen-VL-Chat — демонстрирующие расширенные возможности интерпретации изображений и ведения диалогов на естественном языке. Учитывая растущий спрос на доступ к продвинутым ИИ-алгоритмам, появление языковых моделей Alibaba может оказаться весьма своевременным.

Источник изображения: maginative.com

Представленные языковые модели не ограничиваются понимаем текстовых сообщений. Qwen-VL способен воспринимать и понимать изображения, текст и соблюдать ограничения. Алгоритм может обрабатывать запросы, связанные с разными изображениями, и генерировать ответы на них. Qwen-VL-Chat предназначен для более сложного взаимодействия. Например, он может сравнивать несколько изображений, отвечать на серии вопросов, писать истории на основе предоставленных пользователем картинок. К примеру, пользователь может спросить ИИ о местоположении больницы по фото её вывески и получить точный ответ на этот вопрос.

Одно из преимуществ представленных языковых моделей состоит в том, что они работают с высокой точностью. По данным Alibaba, Qwen-VL значительно превосходит существующие схожие языковые модели с открытым исходным кодом по нескольким критериям оценки английского языка. Алгоритм также поддерживает новую функцию «общение с чередованием нескольких изображений», которая предполагает, что пользователь предоставит ИИ несколько изображений, после чего будет задавать связанные с ними вопросы.

Используя стандартные эталоны, специалисты Alibaba оценили возможности новых алгоритмов при выполнении разных задач, начиная от генерации комментариев к изображениям и заканчивая ответами на вопросы по загруженным снимкам. Обе модели также тестировались по разработанному в Alibaba эталону, который основан на оценке GPT-4 для определения диалоговых возможностей и соответствия человеческому восприятию. Отмечается, что Qwen-VL и Qwen-VL-Chat достигли наилучших результатов в разных категориях.

Alibaba стала одной из первых китайских компаний, представивших конкурентоспособную систему генеративного ИИ, что свидетельствует о быстром прогресс исследований в сфере нейросетей в Поднебесной. Выпуская модели с открытым исходным кодом, Alibaba гарантирует, что исследователи, учёные и компании по всему миру смогут использовать их для создания собственных приложений, не прибегая к трудоёмкому и дорогостоящему процессу обучения нейросетей с нуля.