Apple незаметно выпустила нейросеть Ferret, которая работает с текстом и изображениями

Apple при поддержке учёных Корнеллского университета ещё в октябре выложила в открытый доступ собственную мультимодальную большую языковую модель Ferret, которая в качестве запросов может принимать фрагменты изображений.

Выход Ferret на GitHub в октябре не сопровождался со стороны Apple крупными объявлениями, но проект впоследствии привлёк участие специалистов отрасли. Принцип работы Ferret состоит в том, что модель изучает указанный фрагмент изображения, идентифицирует объекты на этом участке и очерчивает их рамкой. Распознанные на фрагменте изображения объекты система воспринимает как часть запроса, ответ на который предоставляется в текстовом формате. К примеру, пользователь может выделить на картинке изображение животного и попросить Ferret распознать его. Модель даст ответ, к какому виду относится животное, и ей можно будет задать дополнительные вопросы в контексте, уточнив информацию по другим объектам или действиям.

Открытая модель Ferret — это система, способная «давать ссылки и обосновывать что угодно, где угодно и с любыми подробностями», пояснил исследователь из ИИ-подразделения Apple Чжэ Гань (Zhe Gan). Отраслевые эксперты отмечают важность выхода проекта в этом формате — он демонстрирует открытость традиционно закрытой компании. По одной из версий, Apple решилась на этот шаг, поскольку стремится конкурировать с Microsoft и Google, но не обладает сопоставимыми вычислительными ресурсами. Из-за этого она не смогла рассчитывать на выпуск собственного конкурента ChatGPT и была вынуждена выбирать между партнёрством с облачным гиперскейлером и выпуском проекта в открытом формате, как это ранее сделала Meta✴.