Сегодня 15 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → жесты

Apple представила ИИ-функции для инвалидов — включая управление коляской взглядом

Apple объявила об улучшении эффективности многих функций доступности в своих продуктах. Доработкам подверглись такие инструменты, как VoiceOver, «Лупа», голосовое управление и программа для чтения с ограниченными возможностями. Владельцы инвалидных колясок с электроприводом смогут управлять ими взглядом при помощи гарнитуры Vision Pro. Компания заверила, что добавление перечисленных возможностей ИИ не пошло в ущерб конфиденциальности пользователей.

По словам старшего директора Apple по глобальной политике и инициативам в области доступности Сары Херрлингер (Sarah Herrlinger), компания «предлагает новые, интуитивно понятные варианты ввода, исследования и персонализации, разработанные для защиты конфиденциальности пользователей на каждом этапе».

VoiceOver и «Лупа» помогают пользователям с нарушениями зрения понимать как информацию на экране, так и окружающую обстановку. Функция Image Explorer в VoiceOver использует Apple Intelligence для предоставления более подробных описаний изображений по всей системе, включая фотографии, отсканированные счета, личные записи и другой визуальный контент.

Благодаря обновлениям функции Live Recognition, пользователи VoiceOver могут нажать кнопку Action на iPhone, чтобы быстро задать вопрос о том, что находится в видоискателе камеры, и получить подробный ответ. «Лупа» теперь также работает с кнопкой Action, поэтому пользователи могут быстро задавать вопросы и получать ответы.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

Управлять самим приложением можно с помощью голосовых команд, таких как «увеличить» или «включить фонарик». Раньше голосовое управление требовало от пользователей запоминания точных слов и фраз. Apple заявляет, что благодаря ИИ эта функция теперь позволяет использовать естественный язык. Возможность «говорить то, что вы видите» подходит для навигации по любому приложению, включая программные продукты с визуальной структурой, такие как Apple Maps или «Файлы», используя интуитивно понятный язык.

«Чтение для людей с ограниченными возможностями» — это персонализированный режим чтения для пользователей с широким спектром нарушений, от дислексии до слабого зрения. Функция теперь работает с более сложными исходными материалами, такими как научные статьи, обрабатывая текст с несколькими столбцами, изображениями и таблицами. Краткие обзоры по запросу позволяют читателям получить общее представление о статье, прежде чем углубляться в детали.

Благодаря новой встроенной функции перевода пользователи могут читать текст на своём родном языке, сохраняя при этом оригинальные форматирование, шрифт и цвета. Любое видео можно дополнить субтитрами, сгенерированными ИИ. Субтитры создаются непосредственно на устройстве для сохранения конфиденциальности.

Не все пользователи инвалидных кресел с электроприводом обладают достаточной подвижностью для использования джойстика. Теперь они смогут использовать управление взглядом при помощи гарнитуры Vision Pro. Отслеживание взгляда не требует частой перекалибровки и работает в различных условиях освещения.

 Источник изображения: The Verge

На начальном этапе эта возможность будет доступна в США с системами привода колясок Tolt и LUCI, с поддержкой как Bluetooth, так и проводного подключения. В дальнейшем Apple пообещала добавить поддержку других моделей инвалидных колясок.

 Источник изображений: unsplash.com

Apple перечислила ещё ряд дополнительных улучшений доступности:

  • Функция распознавания движений в автомобиле (Vehicle Motion Cues) появится в visionOS, что поможет уменьшить укачивание у людей, использующих Apple Vision Pro в качестве пассажира в движущемся транспортном средстве.
  • Vision Pro будет поддерживать жесты лица для выполнения касаний и системных действий, а также новый способ выбора элементов глазами при использовании функции Dwell Control.
  • Функция Touch Accommodations предоставляет новый способ персонализации настроек в iOS и iPadOS.
  • Слуховые аппараты Made for iPhone будут более надёжно сопрягаться и переключаться между устройствами Apple, будет улучшен процесс настройки в iOS, iPadOS, macOS и visionOS.
  • В tvOS появится поддержка увеличенного текста, поэтому пользователи с ослабленным зрением смогут увеличить размер текста на экране для удобства чтения.
  • Функция распознавания имён (Name Recognition), которая может уведомлять глухих или слабослышащих пользователей, если кто-то произносит их имя, теперь работает более чем на 50 языках мира.
  • Для разработчиков приложений перевода языка жестов новый API позволяет добавлять переводчика к текущему видеозвонку FaceTime.
  • Пользователи, испытывающие трудности с использованием традиционных контроллеров, могут подключить контроллер Sony Access к устройствам iOS, iPadOS и macOS. Можно настроить джойстик, девять встроенных кнопок и до четырёх дополнительных внешних кнопок или специальных переключателей для персонализации расположения элементов управления. Также можно объединить два контроллера для индивидуальной настройки игрового процесса.

«Подход Apple к доступности не похож ни на один другой, — заявил генеральный директор Apple Тим Кук (Tim Cook). — Теперь, с Apple Intelligence, мы внедряем новые мощные возможности в наши функции доступности, сохраняя при этом нашу основополагающую приверженность принципу конфиденциальности на этапе проектирования».

Apple научила ИИ распознавать неизвестные жесты рук по сигналам ЭМГ

Исследователи Apple разработали модель искусственного интеллекта EMBridge, которая на основе данных с сенсоров ЭМГ распознаёт жесты рук, даже если эти жесты отсутствовали в обучающем массиве.

 Источник изображения: Fethi Benattallah / unsplash.com

Источник изображения: Fethi Benattallah / unsplash.com

Технология электромиографии (ЭМГ) предполагает измерение электрической активности, которую во время сокращения производят мышцы. Эта технология применяется в медицинской диагностике, физиотерапии и даже в системах управления протезами конечностей; в последние годы она используется также в носимых устройствах для систем дополненной и виртуальной реальности. Так, с очками Meta✴✴ Ray-Ban Display эта технология применяется в комплектном контроллере Neural Band.

Apple при обучении использовала два готовых набора данных: emg2pose и NinaPro DB2. Для обучения модели EMBridge понадобились два представления: данные ЭМГ и данные с координатами фактических положений рук. На начальном этапе обучение производилось по двум этим представлениям в отдельности, после чего исследователи провели сопоставление, чтобы компонент ЭМГ начал учиться у компонента с положениями рук — в результате EMBridge стал распознавать признаки жестов по одним только сигналам ЭМГ.

Далее задачу ИИ усложнили: частично скрыли данные второго потока и заставили ИИ строить предположения по этому потоку, исходя только из данных ЭМГ. Чтобы уменьшить число ошибок на этом этапе, исследователи сделали оценку ответов ИИ менее строгими, чтобы схожие жесты воспринимались системой как родственные, а не полностью отличные друг от друга. Это помогло структурировать пространство представлений модели и улучшило её способность реконструировать позиции рук, которые вообще отсутствовали в обучающих массивах.

Работу EMBridge проверили на массивах emg2pose и NinaPro, использовав их в качестве бенчмарков, и установили, что алгоритм сохраняет эффективность даже при использовании всего 40 % обучающих данных. Важным ограничением технологии, отмечают учёные, является использование при обучении ИИ-модели наборов данных, содержащих сигналы ЭМГ и соответствующих им данных о положении рук — а эти массивы не безграничны.

Huawei предложила в руках переносить файлы между гаджетами

Сегодня существует множество способов передавать файлы с одного мобильного устройства на другое: технология Quick Share и сторонние приложения для обмена данными, электронная почта и мессенджеры, облачные хранилища и многое другое. Huawei представила ещё один невероятный способ провести эту операцию: захватить файл рукой на одном устройстве и выбросить его на другое.

 Источник изображений: Huawei

Источник изображений: Huawei

Накануне Huawei представила серию смартфонов Mate 70, складной Mate X6 и планшет MatePad Pro 12.3 — все они получили поддержку новой функции «ИИ-телепортация». Она позволяет совершить над экраном устройства жест захвата рукой, чтобы «взять» контент, и отпустить руку над другим, чтобы передать данные на него. Простое и интуитивно понятное движение, не требующее настроек и нажатия кнопок.

Пока функция работает только с изображениями и снимками экранов, говорится на сайте Huawei. Не исключено, что в перспективе это затронет и другие типы файлов, например, офисные документы; а с файлами большого размера она настолько изящно работать уже не будет. Производитель также уточнил, что «ИИ-телепортация» пока работает только на устройствах последнего поколения: на смартфонах серии Mate 70, на раскладном Mate X6 и на планшете MatePad Pro 12.3. Возможно, в перспективе интересную функцию захотят перенять и другие производители.


window-new
Soft
Hard
Тренды 🔥
Биткоин за неделю подешевел на 15 % — ниже $65 000 за монету 5 ч.
Новая статья: Phantom Blade Zero — танцы с клинками. Рецензия 6 ч.
То же мясо, но сочнее: брутальный платформер Super Meat Boy получит ремастер с улучшенной графикой и новыми секретами 10 ч.
Октябрьские сбои «Яндекса» привели к проверкам компании в Казахстане 11 ч.
Microsoft устранила глобальный сбой сервисов — виноватой оказалась ошибка при апгрейде сети 14 ч.
Акций на всех не хватит: спрос на IPO Anthropic в шесть раз превысил предложение 16 ч.
Meta тестирует аналог Polymarket — сотрудники делают ставки, станет ли Тим Кук главой Nvidia 19 ч.
Новая статья: Queen's Domain — по заветам FromSoftware. Рецензия 14-11 00:09
«Спасибо, что были с нами»: ранний доступ амбициозного российского MMO-шутера Pioner стал его могилой 13-11 22:18
Google встроила «Кошелёк» в Gemini: ИИ сможет анализировать расходы и находить забытые подписки 13-11 21:57
Европейский стартап OwlO Cloud анонсировал создание орбитального ИИ ЦОД 7 ч.
Silicon Motion представила контроллер для корпоративных SSD с интерфейсом PCIe 6.0 7 ч.
Innodisk представила PCIe 5.0 SSD и модули DDR5 для серверов 7 ч.
SpaceX объяснила, почему ускоритель Starship не вернулся к стартовой башне и взорвался 10 ч.
Скандал в Nvidia ударил по китайским ИИ-компаниям — рынок испугался, что США перекроют им кислород 13 ч.
GeForce RTX 5090 «воскресла» после слухов о снятии с производства — но стоит теперь втрое дороже 14 ч.
Corsair выпустила прозрачный блок питания, который умеет отключать видеокарту при перегрузке 16 ч.
Intel выпустила эксклюзивный Core Ultra 7 260K для магазина Newegg — он совсем чуть-чуть медленнее 265K 14-11 02:12
SpaceX Starship отправилась в исторический полёт — попытка поймать Super Heavy провалена 14-11 02:11
Процессоры могут повторить судьбу видеокарт: бум ИИ грозит новым дефицитом комплектующих 14-11 00:02