Apple научит ИИ понимать интерфейсы приложений

Исследователи компании Apple опубликовали работу, в которой описали систему генеративного искусственного интеллекта Ferret-UI, предназначенную для распознавания интерфейсов мобильных приложений. С её помощью ИИ сможет без предварительного обучения понимать интерфейс разных приложений и взаимодействовать с ними.

Ferret-UI представляет собой большую мультимодальную языковую модель (MLLM), характерная особенность которых — способность к обучению на самых разных материалах, включающих текст, изображения, видео- и аудиоконтент. MLLM пока плохо справляются с распознаванием интерфейсов приложений и тому есть множество причин, одна из которых — несоответствие пропорций используемых для обучения изображений соотношению сторон экрана типичного смартфона. Искусственный интеллект плохо понимает мелкие изображения, такие как значки и кнопки, а кроме того, для анализа интерфейса приложения ему необходимо с ним взаимодействовать. По словам исследователей, им уже удалось превзойти GPT-4V и другие специализирующиеся на анализе интерфейсов MLLM.

Сфера применения Ferret-UI описана довольно расплывчато. С одной стороны, Apple может делать это намеренно, дабы не подавать конкурентам идеи конкретных продуктов, с другой — исследователи разрабатывают технологии, а поиск возможностей их применения не входит в их задачи. Но есть очевидные варианты: например, с помощью Ferret-UI можно попробовать оценить эффективность пользовательского интерфейса или помочь слепым лучше понять происходящее на экране смартфона. Другим возможным применением нового ИИ может стать интеграция с Siri, благодаря чему последней можно будет отдавать команды для взаимодействия с приложениями, например, купить авиабилеты на определённое время и по указанному тарифу.