Сегодня 28 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Apple привлекла ИИ, чтобы помочь незрячим «увидеть» улицы — SceneScout покажет путь голосом

SceneScout — исследовательский проект Apple и Колумбийского университета, призванный помочь незрячим и слабовидящим людям ориентироваться в пространстве. Для этого были объединены возможности Apple Maps и GPT-4o. Пользователи могут не только получать пошаговые инструкции и ориентиры, но буквально исследовать весь маршрут квартал за кварталом.

 Источник изображения: Apple

Источник изображения: Apple

Система предлагает два режима. Route Preview даёт представление о том, что человек встретит на своём пути: рассказывает о препятствиях на тротуаре, наличии перекрёстков, различных визуальных ориентирах. В режиме Virtual Exploration пользователь сообщает, что он ищет (например, «тихий жилой район с парками»), а ИИ на основе запроса шаг за шагом проводит его в нужное место.

SceneScout ориентируется на карты Apple Maps и имитирует поле зрения пешехода. Система интерпретирует то, что «видит», и подготавливает структурированный текст, разбитый на короткие, средние или длинные описания.

Например, система может сообщить: «Перед зданием припаркованы автомобили. Уличные знаки указывают, что это улица Фигероа. Справа вы найдёте Bank of America». Или: «Здесь широкие тротуары с деревьями и несколькими магазинами. Также видны надземные переходы, соединяющие здания над улицей».

Первые испытания, в которых участвовали 10 человек с нарушением зрения, показали многообещающие результаты. Участники высоко оценили полезность сервиса и особенно отметили режим Virtual Exploration.

Однако не обошлось без недостатков. Некоторые подсказки содержали неточности — например, неверную маркировку дорожных знаков или устаревшие данные о строительных работах и припаркованном транспорте.

Говорить о внедрении SceneScout пока рано. Главная задача проекта — исследовать взаимодействие между API Apple Maps и многомодальной большой языковой моделью.

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Эксперты: на устранение последствий взлома «Аэрофлота» уйдёт до нескольких месяцев 3 мин.
В отключениях интернета в России появятся исключения — предлагается сохранять доступ к «Госуслугам» и банкам 2 ч.
Завирусившийся симулятор Quarantine Zone: The Last Check от российских разработчиков достиг «грандиозного рубежа» и нашёл издателя 3 ч.
Самая уродливая надежда Земли на спасение: радиоактивный боевик Toxic Crusaders получил новый трейлер и дату выхода 3 ч.
«Выглядит как Sekiro на стероидах»: игроков впечатлили 22 минуты геймплея амбициозного китайского боевика Phantom Blade Zero 4 ч.
Британцы стали обманывать систему проверки возраста в Discord с помощью Death Stranding 5 ч.
Microsoft случайно раскрыла дату выхода ретросборника Mortal Kombat: Legacy Kollection 7 ч.
Eviden предоставит техническую платформу для европейского оборонного ИИ-проекта AtLaS 27-07 14:43
В Telegram добавили бота для проверки возраста пользователей 27-07 12:15
Новая статья: Fretless — The Wrath of Riffson — музыка спасёт мир. Рецензия 27-07 00:10
«Роскосмос» сообщил, когда отработает технологии для аналога SpaceX Falcon 9 — ракеты с многоразовой первой ступенью 6 мин.
К октябрю 2025 года Малайзия установит правила устойчивого развития дата-центров в стране 2 ч.
Доля европейских облачных провайдеров на местном рынке снизилась до 15 % и остаётся на этом уровне годами 2 ч.
Palit выпустила первые белые видеокарты Blackwell — GeForce RTX 5060, 5060 Ti и RTX 5070 White 2 ч.
ASRock Industrial представила платформу NVIDIA Jetson AGX Orin для периферийных ИИ-устройств 2 ч.
Собрать за 60 секунд: Huawei и Avatr запустили ультрасовременный автомобильный завод без людей, но с 5G и ИИ 2 ч.
Представлен доступный смартфон Vivo Y400 на старом чипе Snapdragon 685, с 50-Мп камерой и батареей на 6000 мА·ч 3 ч.
Huawei представила ИИ-систему CloudMatrix 384 — конкурента NVIDIA GB200 NVL72 3 ч.
Сверхтонкий складной Samsung Galaxy Z Fold7 пережил тест на изгиб и другие испытания на прочность 4 ч.
Ажиотажный спрос на HBM подтолкнул SK hynix к увеличению капитальных затрат на 30 % 5 ч.