Google представила Guided Vision — функцию визуального поиска вещей в режиме Gemini Live

Google существенно расширила возможности помощника с искусственным интеллектом Gemini, когда представила режим Gemini Live — анализ изображения с камеры в реальном времени. Теперь этот режим дополнился функцией Guided Vision, предлагающей поиск объектов в кадре.

Функция Guided Vision для режима Gemini Live дебютировала с сентябрьским пакетом обновлений Android Drop наряду с возможностью Gemini запоминать местоположение вещей в Find Hub, а также интеграцией чек-листов Google Keep в «Сообщениях». Guided Vision помогает Gemini Live подробно описывать, что находится в кадре. В предложенном Google примере пользователь направляет камеру на полку со специями и просит указать, где находится орегано — ИИ-помощник в точности сообщает, где стоит приправа и даже руководит рукой пользователя.

Новая функция может оказаться полезной в ряде сценариев — не только в поиске предметов домашнего обихода. Оказавшись в тускло освещённом ресторане, пользователь с помощью Guided Vision легко сделает заказ по меню. Можно также использовать её для чтения мелкого шрифта на этикетке продукта. Google также предусмотрела средства для корректной работы функции — Gemini подскажет, если потребуется изменить кадр, переместить камеру или расположить нужный объект в центре.

Guided Vision в ближайшее время появится на смартфонах под управлением Google Android 9 и более свежих версий — функцию можно будет добавить в ярлыки специальных возможностей.