Сегодня 23 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Apple научит ИИ понимать интерфейсы приложений

Исследователи компании Apple опубликовали работу, в которой описали систему генеративного искусственного интеллекта Ferret-UI, предназначенную для распознавания интерфейсов мобильных приложений. С её помощью ИИ сможет без предварительного обучения понимать интерфейс разных приложений и взаимодействовать с ними.

 Источник изображения: Carl Heyerdahl / unsplash.com

Источник изображения: Carl Heyerdahl / unsplash.com

Ferret-UI представляет собой большую мультимодальную языковую модель (MLLM), характерная особенность которых — способность к обучению на самых разных материалах, включающих текст, изображения, видео- и аудиоконтент. MLLM пока плохо справляются с распознаванием интерфейсов приложений и тому есть множество причин, одна из которых — несоответствие пропорций используемых для обучения изображений соотношению сторон экрана типичного смартфона. Искусственный интеллект плохо понимает мелкие изображения, такие как значки и кнопки, а кроме того, для анализа интерфейса приложения ему необходимо с ним взаимодействовать. По словам исследователей, им уже удалось превзойти GPT-4V и другие специализирующиеся на анализе интерфейсов MLLM.

Сфера применения Ferret-UI описана довольно расплывчато. С одной стороны, Apple может делать это намеренно, дабы не подавать конкурентам идеи конкретных продуктов, с другой — исследователи разрабатывают технологии, а поиск возможностей их применения не входит в их задачи. Но есть очевидные варианты: например, с помощью Ferret-UI можно попробовать оценить эффективность пользовательского интерфейса или помочь слепым лучше понять происходящее на экране смартфона. Другим возможным применением нового ИИ может стать интеграция с Siri, благодаря чему последней можно будет отдавать команды для взаимодействия с приложениями, например, купить авиабилеты на определённое время и по указанному тарифу.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Perplexity запустила ИИ-агента для электронной почты — он будет копаться в Outlook и Gmail за $200 в месяц 6 ч.
Комедийное приключение The Dungeon Experience от автора Paradigm заручилось поддержкой Devolver Digital и получило демоверсию в Steam 7 ч.
Американский TikTok избавят от китайских корней — Oracle с нуля переобучит рекомендательный алгоритм 9 ч.
Konami поинтересовалась, ремейки каких Metal Gear фанаты хотят увидеть после Metal Gear Solid Delta: Snake Eater 10 ч.
Обновление Windows 11 сломало приложения для Blu-ray и цифрового ТВ 11 ч.
Майкл Делл, Ларри Эллисон и Лахлан Мёрдок войдут в группу покупателей американского сегмента TikTok 11 ч.
Журналисты проанализировали, почему всё меньше и меньше игр Xbox выходит на дисках 11 ч.
Навязчивые cookie-баннеры могут исчезнуть — в ЕС поняли, что они неэффективны 12 ч.
Календарь релизов — 22–28 сентября: Silent Hill f, Endless Legend 2 и Sonic Racing: CrossWorlds 12 ч.
«Это настоящая магия»: энтузиасты сделали браузерный порт GTA: Vice City и не знают, как его выпустить, чтобы «не нарушить чьи-либо права» 14 ч.