Сегодня 22 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Apple научит ИИ понимать интерфейсы приложений

Исследователи компании Apple опубликовали работу, в которой описали систему генеративного искусственного интеллекта Ferret-UI, предназначенную для распознавания интерфейсов мобильных приложений. С её помощью ИИ сможет без предварительного обучения понимать интерфейс разных приложений и взаимодействовать с ними.

 Источник изображения: Carl Heyerdahl / unsplash.com

Источник изображения: Carl Heyerdahl / unsplash.com

Ferret-UI представляет собой большую мультимодальную языковую модель (MLLM), характерная особенность которых — способность к обучению на самых разных материалах, включающих текст, изображения, видео- и аудиоконтент. MLLM пока плохо справляются с распознаванием интерфейсов приложений и тому есть множество причин, одна из которых — несоответствие пропорций используемых для обучения изображений соотношению сторон экрана типичного смартфона. Искусственный интеллект плохо понимает мелкие изображения, такие как значки и кнопки, а кроме того, для анализа интерфейса приложения ему необходимо с ним взаимодействовать. По словам исследователей, им уже удалось превзойти GPT-4V и другие специализирующиеся на анализе интерфейсов MLLM.

Сфера применения Ferret-UI описана довольно расплывчато. С одной стороны, Apple может делать это намеренно, дабы не подавать конкурентам идеи конкретных продуктов, с другой — исследователи разрабатывают технологии, а поиск возможностей их применения не входит в их задачи. Но есть очевидные варианты: например, с помощью Ferret-UI можно попробовать оценить эффективность пользовательского интерфейса или помочь слепым лучше понять происходящее на экране смартфона. Другим возможным применением нового ИИ может стать интеграция с Siri, благодаря чему последней можно будет отдавать команды для взаимодействия с приложениями, например, купить авиабилеты на определённое время и по указанному тарифу.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Нейроаналитик» «Яндекса» ускорит анализ и визуализацию данных 5 мин.
«Т-Банк» выпустил ИИ-модель распознавания речи с открытым исходным кодом — T-one 17 мин.
Copilot+PC на чипах AMD и Intel наконец получили новые ИИ-функции — на три месяца позже, чем Snapdragon X 2 ч.
Electronic Arts анонсировала открытую «бету» Battlefield 6, а в приложении EA App засветились её подробности 3 ч.
Плохо прогнозируемый эффект от применения ИИ — один из основных барьеров, сдерживающих его использование в промышленности 3 ч.
ИИ-модель Google Gemini получила золотую медаль Международной математической олимпиады 4 ч.
OpenAI раскрыла масштабы популярности ChatGPT: каждый день бот получает 2,5 млрд запросов 13 ч.
Microsoft реализовала на ПК и консолях Xbox кроссплатформенную историю запущенных игр, но пока не для всех 14 ч.
Календарь релизов —21–27 июля: Killing Floor 3, Wuchang: Fallen Feathers и The King is Watching 14 ч.
Дуров призвал сообщать ему о вымогателях в Telegram, охотящихся за подарками — но это не бесплатно 15 ч.
В NASA рассказали, как спасли камеру зонда «Юнона» в окрестностях Юпитера 5 мин.
Китайская MG выпустит электромобиль за $11 000 с полутвердотельным аккумулятором и запасом хода 537 км 26 мин.
Kioxia представила первый в мире NVMe SSD вместимостью 245 Тбайт 42 мин.
Samsung укрепила дисплей Galaxy Z Fold7 — он выдержит в 2,5 раза больше складываний, чем Fold6 2 ч.
Kioxia представила самый ёмкий SSD в мире —  он может вместить 12 500 фильмов в 4K 2 ч.
Прыгающий электромобиль Yangwang U9 и другие модели люксового бренда BYD начнут покорять Европу 2 ч.
Великобритания и OpenAI подписали новое соглашение о стратегическом сотрудничестве 2 ч.
Прототип тихого сверхзвукового авиалайнера NASA X-59 впервые самостоятельно проехал по взлётной полосе — дальше только в небо 2 ч.
«Яндекс» купила 50 % SolidSoft, чтобы создать с ней СП 2 ч.
Новая статья: Безопасный выход в интернет для аэропортов как объектов КИИ: как преодолеть дилемму изоляции и безопасности 3 ч.