Сегодня 01 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Apple научит ИИ понимать интерфейсы приложений

Исследователи компании Apple опубликовали работу, в которой описали систему генеративного искусственного интеллекта Ferret-UI, предназначенную для распознавания интерфейсов мобильных приложений. С её помощью ИИ сможет без предварительного обучения понимать интерфейс разных приложений и взаимодействовать с ними.

 Источник изображения: Carl Heyerdahl / unsplash.com

Источник изображения: Carl Heyerdahl / unsplash.com

Ferret-UI представляет собой большую мультимодальную языковую модель (MLLM), характерная особенность которых — способность к обучению на самых разных материалах, включающих текст, изображения, видео- и аудиоконтент. MLLM пока плохо справляются с распознаванием интерфейсов приложений и тому есть множество причин, одна из которых — несоответствие пропорций используемых для обучения изображений соотношению сторон экрана типичного смартфона. Искусственный интеллект плохо понимает мелкие изображения, такие как значки и кнопки, а кроме того, для анализа интерфейса приложения ему необходимо с ним взаимодействовать. По словам исследователей, им уже удалось превзойти GPT-4V и другие специализирующиеся на анализе интерфейсов MLLM.

Сфера применения Ferret-UI описана довольно расплывчато. С одной стороны, Apple может делать это намеренно, дабы не подавать конкурентам идеи конкретных продуктов, с другой — исследователи разрабатывают технологии, а поиск возможностей их применения не входит в их задачи. Но есть очевидные варианты: например, с помощью Ferret-UI можно попробовать оценить эффективность пользовательского интерфейса или помочь слепым лучше понять происходящее на экране смартфона. Другим возможным применением нового ИИ может стать интеграция с Siri, благодаря чему последней можно будет отдавать команды для взаимодействия с приложениями, например, купить авиабилеты на определённое время и по указанному тарифу.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
На долю взлома аккаунтов на «Госуслугах» приходится 90 % от общего числа преступлений с неправомерным доступом к данным 12 ч.
Новая статья: RoadCraft — восстановление разрушенного. Рецензия 19 ч.
Новая статья: Gamesblender № 728: SteamOS против Windows, анонсы Warhammer Skulls и вторая жизнь WRC 20 ч.
В Twitch появятся перемотка, вертикальные трансляции и не только 31-05 15:25
Суд склоняется к мягким мерам по устранению монополии Google в онлайн-поиске, но окончательное решение придётся подождать 31-05 13:35
Google запустила ИИ-генератор видео Veo 3 для мобильных устройств на Android и iOS 31-05 08:11
Microsoft добавила в «Блокнот» возможности форматирования текста почти как в Word 31-05 07:06
OpenAI хочет, чтобы ChatGPT стал личным секретарём для каждого 31-05 07:03
Новая статья: The Slormancer — Diablo без заморочек. Рецензия 31-05 00:01
Моддер уже добавил в Elden Ring Nightreign режим для двух игроков, о котором забыли разработчики 30-05 23:05
Трамп отозвал кандидатуру Джареда Айзекмана на пост главы NASA — в этом замешан Илон Маск 2 ч.
США готовят полный запрет продаж коммерческих дронов DJI и других китайских производителей 2 ч.
xMEMS готовит ультразвуковые кулеры µCooling для E3.S и M.2 SSD 5 ч.
SpaceX вывела на орбиту очередную партию спутников Starlink и снова посадила первую ступень носителя 11 ч.
Intel и SoftBank намерены разработать более экономичную альтернативу памяти HBM 12 ч.
Тонкий Galaxy S25 Edge показал удивительную прочность в тесте на изгиб и других испытаниях 17 ч.
Intel представила EMIB-T — технологию упаковки многокристальных чипов с поддержкой HBM4 и UCIe 18 ч.
Sharp представила прочный флагманский смартфон Aquos R10 с 240-Гц экраном и более доступный Wish 5 31-05 18:35
Hugging Face выпустила человекоподобного робота HopeJR всего за $3000 31-05 17:38
Игровые видеокарты спасли Nvidia от обрушения акций — продажи GeForce оказались рекордными в прошлом квартале 31-05 16:38