MWC 2018
2018
Computex
IFA 2018
Компания Google продемонстрировала экспериментальную функцию нейросети Gemini, которая позволяет ИИ-помощнику отвечать на вопросы о происходящем за окном автомобиля. Она реализуется за счёт предоставления сервису временного доступа к фронтальной камере авто. Новую функцию продемонстрировал президент подразделения Android Самир Самат (Sameer Samat) вместе с главой Google AI Studio Логаном Килпатриком (Logan Kilpatrick).
Источник изображения: androidauthority.com
Демонстрация упомянутой функции проводилась на автомобиле Volvo EX60, который, как отметил Самат, ещё не поступил в продажу. В авто используется платформа Google c поддержкой Gemini и, по всей видимости, на данный момент это единственная машина с поддержкой новой функции. Во время демонстрации Самат не упомянул о планах по расширению доступности этого нововведения.
Представленная концепция покажется знакомой каждому, кто использовал режим камеры Gemini Live на смартфонах с Android. Отличие в том, что в данном случае не требуется наличие смартфона, а фронтальная камера становится глазами ИИ-помощника. «Мы хотели посмотреть, что произойдёт, если Gemini сможет видеть мир, в то время, как вы перемещаетесь», — пояснил Самат во время демонстрации.
Во время беседы он затронул вопрос конфиденциальности данных, что также является немаловажным. По словам Самата, система не анализирует происходящее в течение всей поездки. Доступ к видеопотоку ИИ-помощнику предоставляется только в тех случаях, когда пользователь явно активирует Gemini голосовой командой и задаёт соответствующий вопрос. «Затем камера передаёт видеопоток Gemini, он отвечает на вопрос, а затем снова перестаёт видеть», — добавил Самат.
Во время демонстрации наблюдалась заметная задержка при подключении Gemini к камере. В отличие от Gemini Live на смартфоне, на экране информационно-развлекательной системы авто во время работы Gemini не ведётся трансляция того, что видит камера. Пользователь может лишь слышать голосовые ответы ИИ-помощника, которые воспроизводятся после того, как система обработает видеопоток.
Несмотря на существенные задержки, в рамках демонстрации Gemini показал впечатляющее визуальное понимание происходящего. Самат попросил ИИ-помощника идентифицировать достопримечательности, которые видно через лобовое стекло авто вокруг кампуса Google в Маунтин-Вью. Алгоритм верно определил несколько местных достопримечательностей.
Нынешняя демонстрация указывает на то, что Google ищет варианты расширения мультимодальных возможностей Gemini за пределы смартфонов и планирует интегрировать новые функции в автомобильные информационно-развлекательные системы. Вместо того, чтобы полагаться только на навигационные данные, ИИ-помощник сможет отвечать на вопросы, опираясь на сведения о том, что именно видит водитель в конкретный момент. Самат не озвучил планов по расширению доступности новой функции, сказав лишь, что Google рассматривает разные варианты.
Источник:
