Сегодня 01 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Apple научит ИИ понимать интерфейсы приложений

Исследователи компании Apple опубликовали работу, в которой описали систему генеративного искусственного интеллекта Ferret-UI, предназначенную для распознавания интерфейсов мобильных приложений. С её помощью ИИ сможет без предварительного обучения понимать интерфейс разных приложений и взаимодействовать с ними.

 Источник изображения: Carl Heyerdahl / unsplash.com

Источник изображения: Carl Heyerdahl / unsplash.com

Ferret-UI представляет собой большую мультимодальную языковую модель (MLLM), характерная особенность которых — способность к обучению на самых разных материалах, включающих текст, изображения, видео- и аудиоконтент. MLLM пока плохо справляются с распознаванием интерфейсов приложений и тому есть множество причин, одна из которых — несоответствие пропорций используемых для обучения изображений соотношению сторон экрана типичного смартфона. Искусственный интеллект плохо понимает мелкие изображения, такие как значки и кнопки, а кроме того, для анализа интерфейса приложения ему необходимо с ним взаимодействовать. По словам исследователей, им уже удалось превзойти GPT-4V и другие специализирующиеся на анализе интерфейсов MLLM.

Сфера применения Ferret-UI описана довольно расплывчато. С одной стороны, Apple может делать это намеренно, дабы не подавать конкурентам идеи конкретных продуктов, с другой — исследователи разрабатывают технологии, а поиск возможностей их применения не входит в их задачи. Но есть очевидные варианты: например, с помощью Ferret-UI можно попробовать оценить эффективность пользовательского интерфейса или помочь слепым лучше понять происходящее на экране смартфона. Другим возможным применением нового ИИ может стать интеграция с Siri, благодаря чему последней можно будет отдавать команды для взаимодействия с приложениями, например, купить авиабилеты на определённое время и по указанному тарифу.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Valve внедрила в клиент Steam панель, различающую реальные и сгенерированные ИИ кадры 5 мин.
Стартапу xAI Илона Маска удалось недавно привлечь в общей сложности $10 млрд 2 ч.
Руководство OpenAI признало, что конкуренция за ценные кадры вынуждает его шевелиться 6 ч.
Марк Цукерберг собрал звёздную команду для разработки суперинтеллекта 7 ч.
Microsoft испытала ИИ-доктора MAI-DxO, который ставит диагнозы в 4 раза точнее врачей 11 ч.
The Blood of Dawnwalker, Code Vein 2 и многие другие: анонсирована игровая презентация Bandai Namco Summer Showcase 2025 12 ч.
Комиссионный хаос: Apple изменила правила App Store для ЕС так, что теперь их никто не понимает 13 ч.
«Это был ошибочный выбор»: авторы The Alters подтвердили, что в игру попал ИИ-контент, и объяснили, как так получилось 13 ч.
AMD выпустила драйвер с поддержкой FSR 4 для Monster Hunter Wilds и GTA V Enhanced 14 ч.
Календарь релизов — 1–6 июля: Mecha Break, Dying Light Retouched и девятый сезон Diablo IV 14 ч.
Оригинальная Nintendo Switch подорожает спустя восемь лет после запуска — пока только в Канаде 59 мин.
Крупнейший в истории AWS ИИ-суперкомпьютер Project Rainier охватит несколько ЦОД, но будет экологичным 2 ч.
OpenAI пока не готова активно использовать ускорители Google в своей инфраструктуре 4 ч.
Apple не смогла отвертеться от иска Минюста США о монополии на рынке смартфонов 7 ч.
Новая статья: Обзор Core Ultra 7 265K: гадкий утёнок 11 ч.
В России вышло игровое кресло Filum FL-CH-G-070 с надёжной конструкцией и эргономичной посадкой 11 ч.
ИИ создаст спрос на передовые чипы: выпуск 7-нм и более тонких полупроводников вырастет на 69 % к 2028 году 12 ч.
В деревню, в глушь, на север: московский регион страдает от дефицита мощностей ЦОД, но скоро операторы могут уйти в провинцию 13 ч.
DJI выпустила грузовой дрон FlyCart 100 с грузоподъёмностью до 80 кг и передовыми системами безопасности 14 ч.
Дубай стал на шаг ближе к запуску аэротакси — Joby Aviation доставила первый серийный электролёт в ОАЭ 17 ч.