Компактная модель Phi-3-vision от Microsoft умеет «читать» изображения

Компания Microsoft анонсировала ИИ-модель Phi-3-vision, новую версию своей небольшой языковой модели Phi-3, способную просматривать изображения и рассказывать пользователю о том, что на них изображено. Phi-3-vision является мультимодальной ИИ-моделью, обладающей способностью читать текст и просматривать изображения, предназначенной для использования в первую очередь на мобильных устройствах.

Источник изображения: geralt/Pixabay

Как сообщает Microsoft, Phi-3-vision, доступная в виде предварительной версии, представляет собой модель с 4,2 млрд параметров, которая может выполнять общие задачи на визуальное мышление, включая ответы на вопросы о диаграммах или изображениях.

Phi-3-vision гораздо меньше других ИИ-моделей, ориентированных на работу с изображениями, таких как DALL-E от OpenAI или Stable Diffusion от Stability AI. В отличие от этих моделей, Phi-3-vision не генерирует изображения, хотя способна понимать, что изображено на картинке, и анализировать изображение по запросу пользователя.

Microsoft представила модель Phi-3 в апреле, выпустив Phi-3-mini, самую маленькую модель семейства Phi-3 с 3,8 млрд параметров. Семейство Phi-3 также включает модель Phi-3-small (7 млрд параметров) и Phi-3-medium (14 млрд параметров).

Разработчики начали выпуск небольших и лёгких ИИ-моделей, таких как Phi-3, в связи с ростом спроса на использование более экономичных и менее ресурсоёмких сервисов ИИ. Небольшие ИИ-модели не занимают много места в памяти и поэтому их можно использовать на телефонах и ноутбуках.

Microsoft выпустила ряд небольших моделей в дополнение к Phi-3 и её предшественнику Phi-2. Её модель Orca-Math, ориентированная на решение математических задач, как сообщается, отвечает на математические вопросы лучше, чем более крупные аналоги, такие как Gemini Pro от Google.

ИИ-модели Phi-3-mini, Phi-3-small и Phi-3-medium уже доступны для использования и присутствуют в библиотеке моделей Azure.