Сегодня 21 мая 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → жесты

Apple представила ИИ-функции для инвалидов — включая управление коляской взглядом

Apple объявила об улучшении эффективности многих функций доступности в своих продуктах. Доработкам подверглись такие инструменты, как VoiceOver, «Лупа», голосовое управление и программа для чтения с ограниченными возможностями. Владельцы инвалидных колясок с электроприводом смогут управлять ими взглядом при помощи гарнитуры Vision Pro. Компания заверила, что добавление перечисленных возможностей ИИ не пошло в ущерб конфиденциальности пользователей.

По словам старшего директора Apple по глобальной политике и инициативам в области доступности Сары Херрлингер (Sarah Herrlinger), компания «предлагает новые, интуитивно понятные варианты ввода, исследования и персонализации, разработанные для защиты конфиденциальности пользователей на каждом этапе».

VoiceOver и «Лупа» помогают пользователям с нарушениями зрения понимать как информацию на экране, так и окружающую обстановку. Функция Image Explorer в VoiceOver использует Apple Intelligence для предоставления более подробных описаний изображений по всей системе, включая фотографии, отсканированные счета, личные записи и другой визуальный контент.

Благодаря обновлениям функции Live Recognition, пользователи VoiceOver могут нажать кнопку Action на iPhone, чтобы быстро задать вопрос о том, что находится в видоискателе камеры, и получить подробный ответ. «Лупа» теперь также работает с кнопкой Action, поэтому пользователи могут быстро задавать вопросы и получать ответы.

 Источник изображений: unsplash.com

Источник изображений: unsplash.com

Управлять самим приложением можно с помощью голосовых команд, таких как «увеличить» или «включить фонарик». Раньше голосовое управление требовало от пользователей запоминания точных слов и фраз. Apple заявляет, что благодаря ИИ эта функция теперь позволяет использовать естественный язык. Возможность «говорить то, что вы видите» подходит для навигации по любому приложению, включая программные продукты с визуальной структурой, такие как Apple Maps или «Файлы», используя интуитивно понятный язык.

«Чтение для людей с ограниченными возможностями» — это персонализированный режим чтения для пользователей с широким спектром нарушений, от дислексии до слабого зрения. Функция теперь работает с более сложными исходными материалами, такими как научные статьи, обрабатывая текст с несколькими столбцами, изображениями и таблицами. Краткие обзоры по запросу позволяют читателям получить общее представление о статье, прежде чем углубляться в детали.

Благодаря новой встроенной функции перевода пользователи могут читать текст на своём родном языке, сохраняя при этом оригинальные форматирование, шрифт и цвета. Любое видео можно дополнить субтитрами, сгенерированными ИИ. Субтитры создаются непосредственно на устройстве для сохранения конфиденциальности.

Не все пользователи инвалидных кресел с электроприводом обладают достаточной подвижностью для использования джойстика. Теперь они смогут использовать управление взглядом при помощи гарнитуры Vision Pro. Отслеживание взгляда не требует частой перекалибровки и работает в различных условиях освещения.

 Источник изображения: The Verge

На начальном этапе эта возможность будет доступна в США с системами привода колясок Tolt и LUCI, с поддержкой как Bluetooth, так и проводного подключения. В дальнейшем Apple пообещала добавить поддержку других моделей инвалидных колясок.

 Источник изображений: unsplash.com

Apple перечислила ещё ряд дополнительных улучшений доступности:

  • Функция распознавания движений в автомобиле (Vehicle Motion Cues) появится в visionOS, что поможет уменьшить укачивание у людей, использующих Apple Vision Pro в качестве пассажира в движущемся транспортном средстве.
  • Vision Pro будет поддерживать жесты лица для выполнения касаний и системных действий, а также новый способ выбора элементов глазами при использовании функции Dwell Control.
  • Функция Touch Accommodations предоставляет новый способ персонализации настроек в iOS и iPadOS.
  • Слуховые аппараты Made for iPhone будут более надёжно сопрягаться и переключаться между устройствами Apple, будет улучшен процесс настройки в iOS, iPadOS, macOS и visionOS.
  • В tvOS появится поддержка увеличенного текста, поэтому пользователи с ослабленным зрением смогут увеличить размер текста на экране для удобства чтения.
  • Функция распознавания имён (Name Recognition), которая может уведомлять глухих или слабослышащих пользователей, если кто-то произносит их имя, теперь работает более чем на 50 языках мира.
  • Для разработчиков приложений перевода языка жестов новый API позволяет добавлять переводчика к текущему видеозвонку FaceTime.
  • Пользователи, испытывающие трудности с использованием традиционных контроллеров, могут подключить контроллер Sony Access к устройствам iOS, iPadOS и macOS. Можно настроить джойстик, девять встроенных кнопок и до четырёх дополнительных внешних кнопок или специальных переключателей для персонализации расположения элементов управления. Также можно объединить два контроллера для индивидуальной настройки игрового процесса.

«Подход Apple к доступности не похож ни на один другой, — заявил генеральный директор Apple Тим Кук (Tim Cook). — Теперь, с Apple Intelligence, мы внедряем новые мощные возможности в наши функции доступности, сохраняя при этом нашу основополагающую приверженность принципу конфиденциальности на этапе проектирования».

Apple научила ИИ распознавать неизвестные жесты рук по сигналам ЭМГ

Исследователи Apple разработали модель искусственного интеллекта EMBridge, которая на основе данных с сенсоров ЭМГ распознаёт жесты рук, даже если эти жесты отсутствовали в обучающем массиве.

 Источник изображения: Fethi Benattallah / unsplash.com

Источник изображения: Fethi Benattallah / unsplash.com

Технология электромиографии (ЭМГ) предполагает измерение электрической активности, которую во время сокращения производят мышцы. Эта технология применяется в медицинской диагностике, физиотерапии и даже в системах управления протезами конечностей; в последние годы она используется также в носимых устройствах для систем дополненной и виртуальной реальности. Так, с очками Meta✴ Ray-Ban Display эта технология применяется в комплектном контроллере Neural Band.

Apple при обучении использовала два готовых набора данных: emg2pose и NinaPro DB2. Для обучения модели EMBridge понадобились два представления: данные ЭМГ и данные с координатами фактических положений рук. На начальном этапе обучение производилось по двум этим представлениям в отдельности, после чего исследователи провели сопоставление, чтобы компонент ЭМГ начал учиться у компонента с положениями рук — в результате EMBridge стал распознавать признаки жестов по одним только сигналам ЭМГ.

Далее задачу ИИ усложнили: частично скрыли данные второго потока и заставили ИИ строить предположения по этому потоку, исходя только из данных ЭМГ. Чтобы уменьшить число ошибок на этом этапе, исследователи сделали оценку ответов ИИ менее строгими, чтобы схожие жесты воспринимались системой как родственные, а не полностью отличные друг от друга. Это помогло структурировать пространство представлений модели и улучшило её способность реконструировать позиции рук, которые вообще отсутствовали в обучающих массивах.

Работу EMBridge проверили на массивах emg2pose и NinaPro, использовав их в качестве бенчмарков, и установили, что алгоритм сохраняет эффективность даже при использовании всего 40 % обучающих данных. Важным ограничением технологии, отмечают учёные, является использование при обучении ИИ-модели наборов данных, содержащих сигналы ЭМГ и соответствующих им данных о положении рук — а эти массивы не безграничны.

Huawei предложила в руках переносить файлы между гаджетами

Сегодня существует множество способов передавать файлы с одного мобильного устройства на другое: технология Quick Share и сторонние приложения для обмена данными, электронная почта и мессенджеры, облачные хранилища и многое другое. Huawei представила ещё один невероятный способ провести эту операцию: захватить файл рукой на одном устройстве и выбросить его на другое.

 Источник изображений: Huawei

Источник изображений: Huawei

Накануне Huawei представила серию смартфонов Mate 70, складной Mate X6 и планшет MatePad Pro 12.3 — все они получили поддержку новой функции «ИИ-телепортация». Она позволяет совершить над экраном устройства жест захвата рукой, чтобы «взять» контент, и отпустить руку над другим, чтобы передать данные на него. Простое и интуитивно понятное движение, не требующее настроек и нажатия кнопок.

Пока функция работает только с изображениями и снимками экранов, говорится на сайте Huawei. Не исключено, что в перспективе это затронет и другие типы файлов, например, офисные документы; а с файлами большого размера она настолько изящно работать уже не будет. Производитель также уточнил, что «ИИ-телепортация» пока работает только на устройствах последнего поколения: на смартфонах серии Mate 70, на раскладном Mate X6 и на планшете MatePad Pro 12.3. Возможно, в перспективе интересную функцию захотят перенять и другие производители.


window-new
Soft
Hard
Тренды 🔥
Cloudflare сравнила Anthropic Mythos с опытным исследователем 15 мин.
Valve назвала абсурдом приравнивание лутбоксов в Counter-Strike к азартным играм 3 ч.
Google выложила в открытый доступ код эксплойта для уязвимости в Chromium, которую не исправляла 29 месяцев 3 ч.
Модель OpenAI решила задачу Эрдёша — и на этот раз с подтверждением математиков 3 ч.
Нейросеть Gemini начнёт объяснять пользователям, почему им стоит купить тот или иной товар 3 ч.
Postgres Professional представила СУБД Postgres Pro AXE для гибридных нагрузок 8 ч.
Цукерберг успокоил сотрудников Meta: новых массовых увольнений в этом году не ожидается 9 ч.
Microsoft позвала звёздного аналитика Мэттью Болла спасать стратегию Xbox 9 ч.
«Очередной шедевр Amanita»: авангардная головоломка Phonopolis от авторов Machinarium и Samorost стартовала в Steam с рейтингом 96 % 11 ч.
Embracer подтвердила сроки релиза следующей игры Warhorse Studios — новая Kingdom Come может выйти уже в 2027 году 12 ч.
Нереида оказалась единственным исконным спутником Нептуна — её состав не похож на состав объектов пояса Койпера 12 мин.
OpenAI торопится подать заявку на IPO до конца текущей недели 18 мин.
Глава Nvidia признал, что компания сдала китайский рынок конкурирующей Huawei 39 мин.
Microsoft продолжила закупать кредиты на удаление углерода: BioCirc получила контракт на 650 000 тонн CO2 2 ч.
SpaceX остаётся убыточной компанией и больше всего сейчас тратит на ИИ, а не на космос 2 ч.
Ридеры Boox серии Poke 7 получили рифлёный дизайн и поддержку Google Play 3 ч.
Выручка Nvidia в прошлом квартале взлетела на 85 % до рекордных $81,6 млрд 3 ч.
Samsung увернулась от забастовки, способной взвинтить цены на память — рабочие добились повышения премий 10 ч.
Китайские учёные впервые в истории запитали несколько движущихся по воздуху целей микроволновым лучом 11 ч.
Founders Edition, но не от Nvidia: китайская Lisuan Tech показала игровую видеокарту LX 7G100 в эталонном исполнении 11 ч.