MWC 2018
2018
Computex
IFA 2018
Google представила агентскую функцию автоматизации для Gemini на смартфонах Pixel 10 и Samsung Galaxy S26. ИИ-агент сможет самостоятельно открывать приложения, делать заказы в магазинах и многое другое, заменяя действия пользователя.
Источник изображения: Google
Нейросеть сможет не просто искать информацию, а выполнять конкретные действия в сторонних приложениях. Если попросить систему вызвать такси, Gemini самостоятельно откроет Uber или DoorDash в виртуальном окне и начнёт оформлять заказ. При этом, как пишет The Verge, пользователь может наблюдать, как ИИ переключает пункты меню, и может в любой момент остановить процесс или просто свернуть окно для продолжения задачи в фоновом режиме.
Система спроектирована так, что окончательное решение о заказе и его оплате должен принять сам пользователь: Gemini пришлёт уведомление с просьбой проверить заказ и подтвердить оплату. Если в процессе возникнет заминка, например, нужный товар закончился или нужно выбрать комплектацию, ИИ также об этом сообщит.
Технически реализация основана на «рассуждающей» модели Gemini 3, которая умеет визуально считывать интерфейс. Для разработчиков приложений Google предлагает на выбор специальные протоколы, например, MCP или Android App Functions, однако система способна функционировать и без них, просто анализируя изображение на экране и осуществляя клики по кнопкам, как это сделал бы живой человек.
По словам президента экосистемы Android Самира Самата (Sameer Samat), для пользователя неважно, с помощью каких технологических решений достигается подобная автоматизация, главное — чтобы задача была выполнена. В связи с этим, отмечает The Verge, возникает вопрос, не вызовет ли у разработчиков приложений недовольство тот факт, что они могут лишиться возможности показывать пользователям рекламные материалы своих сервисов. Комментируя эту ситуацию, представитель Google отметил, что развитие технологии неизбежно, и теперь перед сообществом разработчиков встанет задача по поиску правильных способов взаимодействия с ней. Сообщается, что агентские возможности будут глубоко интегрированы в будущие версии платформы, в частности в Android 17.
Источник:
