Сегодня 20 мая 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → жесты

Apple представила ИИ-функции для инвалидов — включая управление коляской взглядом

Apple объявила об улучшении эффективности многих функций доступности в своих продуктах. Доработкам подверглись такие инструменты, как VoiceOver, «Лупа», голосовое управление и программа для чтения с ограниченными возможностями. Владельцы инвалидных колясок с электроприводом смогут управлять ими взглядом при помощи гарнитуры Vision Pro. Компания заверила, что добавление перечисленных возможностей ИИ не пошло в ущерб конфиденциальности пользователей.

По словам старшего директора Apple по глобальной политике и инициативам в области доступности Сары Херрлингер (Sarah Herrlinger), компания «предлагает новые, интуитивно понятные варианты ввода, исследования и персонализации, разработанные для защиты конфиденциальности пользователей на каждом этапе».

VoiceOver и «Лупа» помогают пользователям с нарушениями зрения понимать как информацию на экране, так и окружающую обстановку. Функция Image Explorer в VoiceOver использует Apple Intelligence для предоставления более подробных описаний изображений по всей системе, включая фотографии, отсканированные счета, личные записи и другой визуальный контент.

Благодаря обновлениям функции Live Recognition, пользователи VoiceOver могут нажать кнопку Action на iPhone, чтобы быстро задать вопрос о том, что находится в видоискателе камеры, и получить подробный ответ. «Лупа» теперь также работает с кнопкой Action, поэтому пользователи могут быстро задавать вопросы и получать ответы.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

Управлять самим приложением можно с помощью голосовых команд, таких как «увеличить» или «включить фонарик». Раньше голосовое управление требовало от пользователей запоминания точных слов и фраз. Apple заявляет, что благодаря ИИ эта функция теперь позволяет использовать естественный язык. Возможность «говорить то, что вы видите» подходит для навигации по любому приложению, включая программные продукты с визуальной структурой, такие как Apple Maps или «Файлы», используя интуитивно понятный язык.

«Чтение для людей с ограниченными возможностями» — это персонализированный режим чтения для пользователей с широким спектром нарушений, от дислексии до слабого зрения. Функция теперь работает с более сложными исходными материалами, такими как научные статьи, обрабатывая текст с несколькими столбцами, изображениями и таблицами. Краткие обзоры по запросу позволяют читателям получить общее представление о статье, прежде чем углубляться в детали.

Благодаря новой встроенной функции перевода пользователи могут читать текст на своём родном языке, сохраняя при этом оригинальные форматирование, шрифт и цвета. Любое видео можно дополнить субтитрами, сгенерированными ИИ. Субтитры создаются непосредственно на устройстве для сохранения конфиденциальности.

Не все пользователи инвалидных кресел с электроприводом обладают достаточной подвижностью для использования джойстика. Теперь они смогут использовать управление взглядом при помощи гарнитуры Vision Pro. Отслеживание взгляда не требует частой перекалибровки и работает в различных условиях освещения.

 Источник изображения: The Verge

На начальном этапе эта возможность будет доступна в США с системами привода колясок Tolt и LUCI, с поддержкой как Bluetooth, так и проводного подключения. В дальнейшем Apple пообещала добавить поддержку других моделей инвалидных колясок.

 Источник изображений: unsplash.com

Apple перечислила ещё ряд дополнительных улучшений доступности:

  • Функция распознавания движений в автомобиле (Vehicle Motion Cues) появится в visionOS, что поможет уменьшить укачивание у людей, использующих Apple Vision Pro в качестве пассажира в движущемся транспортном средстве.
  • Vision Pro будет поддерживать жесты лица для выполнения касаний и системных действий, а также новый способ выбора элементов глазами при использовании функции Dwell Control.
  • Функция Touch Accommodations предоставляет новый способ персонализации настроек в iOS и iPadOS.
  • Слуховые аппараты Made for iPhone будут более надёжно сопрягаться и переключаться между устройствами Apple, будет улучшен процесс настройки в iOS, iPadOS, macOS и visionOS.
  • В tvOS появится поддержка увеличенного текста, поэтому пользователи с ослабленным зрением смогут увеличить размер текста на экране для удобства чтения.
  • Функция распознавания имён (Name Recognition), которая может уведомлять глухих или слабослышащих пользователей, если кто-то произносит их имя, теперь работает более чем на 50 языках мира.
  • Для разработчиков приложений перевода языка жестов новый API позволяет добавлять переводчика к текущему видеозвонку FaceTime.
  • Пользователи, испытывающие трудности с использованием традиционных контроллеров, могут подключить контроллер Sony Access к устройствам iOS, iPadOS и macOS. Можно настроить джойстик, девять встроенных кнопок и до четырёх дополнительных внешних кнопок или специальных переключателей для персонализации расположения элементов управления. Также можно объединить два контроллера для индивидуальной настройки игрового процесса.

«Подход Apple к доступности не похож ни на один другой, — заявил генеральный директор Apple Тим Кук (Tim Cook). — Теперь, с Apple Intelligence, мы внедряем новые мощные возможности в наши функции доступности, сохраняя при этом нашу основополагающую приверженность принципу конфиденциальности на этапе проектирования».

Apple научила ИИ распознавать неизвестные жесты рук по сигналам ЭМГ

Исследователи Apple разработали модель искусственного интеллекта EMBridge, которая на основе данных с сенсоров ЭМГ распознаёт жесты рук, даже если эти жесты отсутствовали в обучающем массиве.

 Источник изображения: Fethi Benattallah / unsplash.com

Источник изображения: Fethi Benattallah / unsplash.com

Технология электромиографии (ЭМГ) предполагает измерение электрической активности, которую во время сокращения производят мышцы. Эта технология применяется в медицинской диагностике, физиотерапии и даже в системах управления протезами конечностей; в последние годы она используется также в носимых устройствах для систем дополненной и виртуальной реальности. Так, с очками Meta✴ Ray-Ban Display эта технология применяется в комплектном контроллере Neural Band.

Apple при обучении использовала два готовых набора данных: emg2pose и NinaPro DB2. Для обучения модели EMBridge понадобились два представления: данные ЭМГ и данные с координатами фактических положений рук. На начальном этапе обучение производилось по двум этим представлениям в отдельности, после чего исследователи провели сопоставление, чтобы компонент ЭМГ начал учиться у компонента с положениями рук — в результате EMBridge стал распознавать признаки жестов по одним только сигналам ЭМГ.

Далее задачу ИИ усложнили: частично скрыли данные второго потока и заставили ИИ строить предположения по этому потоку, исходя только из данных ЭМГ. Чтобы уменьшить число ошибок на этом этапе, исследователи сделали оценку ответов ИИ менее строгими, чтобы схожие жесты воспринимались системой как родственные, а не полностью отличные друг от друга. Это помогло структурировать пространство представлений модели и улучшило её способность реконструировать позиции рук, которые вообще отсутствовали в обучающих массивах.

Работу EMBridge проверили на массивах emg2pose и NinaPro, использовав их в качестве бенчмарков, и установили, что алгоритм сохраняет эффективность даже при использовании всего 40 % обучающих данных. Важным ограничением технологии, отмечают учёные, является использование при обучении ИИ-модели наборов данных, содержащих сигналы ЭМГ и соответствующих им данных о положении рук — а эти массивы не безграничны.

Huawei предложила в руках переносить файлы между гаджетами

Сегодня существует множество способов передавать файлы с одного мобильного устройства на другое: технология Quick Share и сторонние приложения для обмена данными, электронная почта и мессенджеры, облачные хранилища и многое другое. Huawei представила ещё один невероятный способ провести эту операцию: захватить файл рукой на одном устройстве и выбросить его на другое.

 Источник изображений: Huawei

Источник изображений: Huawei

Накануне Huawei представила серию смартфонов Mate 70, складной Mate X6 и планшет MatePad Pro 12.3 — все они получили поддержку новой функции «ИИ-телепортация». Она позволяет совершить над экраном устройства жест захвата рукой, чтобы «взять» контент, и отпустить руку над другим, чтобы передать данные на него. Простое и интуитивно понятное движение, не требующее настроек и нажатия кнопок.

Пока функция работает только с изображениями и снимками экранов, говорится на сайте Huawei. Не исключено, что в перспективе это затронет и другие типы файлов, например, офисные документы; а с файлами большого размера она настолько изящно работать уже не будет. Производитель также уточнил, что «ИИ-телепортация» пока работает только на устройствах последнего поколения: на смартфонах серии Mate 70, на раскладном Mate X6 и на планшете MatePad Pro 12.3. Возможно, в перспективе интересную функцию захотят перенять и другие производители.


window-new
Soft
Hard
Тренды 🔥
Google показала на конференции I/O тизер функции Android Halo для ИИ-агентов Gemini 2 ч.
Нейросеть Project Genie научилась превращать реальные локации в интерактивные миры 2 ч.
Вслед за Anthropic и OpenAI компания Google открыла тестировщикам доступ к защитнику CodeMender 2 ч.
Google представила персонального ИИ-агента Gemini Spark, работающего круглосуточно 2 ч.
В YouTube появился ИИ-поиск по роликам и генератор Shorts на базе Gemini Omni 8 ч.
Microsoft отказывается от двухфакторной аутентификации по SMS в пользу ключей доступа 11 ч.
Google представила Gemini 3.5 Flash — сверхбыстрая ИИ-модель уже доступна бесплатно 12 ч.
Forza Horizon 6 только вышла, а уже обогнала по пиковому онлайну в Steam все другие игры Xbox 13 ч.
Anthropic переманила сооснователя OpenAI — Андрей Карпатый будет обучать Claude 13 ч.
Запустится даже на картошке: хардкорный ролевой боевик Outward 2 получил дату выхода в раннем доступе Steam и системные требования 13 ч.
Профсоюз и Samsung так и не смогли договориться, угроза забастовки возросла 24 мин.
Apple заметно обновила команду руководителей, отвечающих за разработку устройств 2 ч.
NASA испытает первые космические «заправки» для полётов к Луне и Марсу 8 ч.
Sony выпустила юбилейные наушники WH-1000X The ColleXion за $650 с шумоподавлением и урезанной автономностью 8 ч.
Новая статья: Обзор игрового ноутбука MSI Stealth 16 AI+ B3W: не размениваться на мелочи 9 ч.
До 84 ядер и 384 Мбайт L3-кеша: AMD опубликовала подробности о телеком-процессорах EPYC 8005 (Sorano) 10 ч.
Samsung объявила о старте продаж новых мониторов Odyssey и ViewFinity — вплоть до 6K 11 ч.
«Обезгугленные» TPU: Blackstone и Google развернут 500-МВт облако с фирменными ИИ-ускорителями Google без участия Google Cloud 11 ч.
Учёные решили головоломную задачу полётов ко множеству астероидов с минимальным расходом топлива 11 ч.
Microsoft представила очень дорогие планшеты Surface Pro 12 и ноутбуки Surface Laptop 8 на процессорах Intel Panther Lake 11 ч.