Microsoft расширила возможности Copilot Vision — теперь ИИ видит всё, что показано на экране

Microsoft выпустила обновление функции Copilot Vision для участников программы Windows Insiders — инструмент на основе искусственного интеллекта теперь способен видеть всё, что отображается на экране компьютера. Ранее служба поддерживала просмотр интерфейса до двух приложений и возможность связывать их данные; теперь она может анализировать весь рабочий стол или «любое конкретное окно браузера или приложения», рассказали в компании.

Источник изображения: blogs.windows.com

В отличие от функции Recall, которая автоматически делает регулярные снимки экрана ПК, работа Copilot Vision больше напоминает демонстрацию экрана во время видеозвонка. Функция активируется по нажатию на значок с изображением очков в приложении Copilot, после чего пользователь выбирает нужный рабочий стол.

Copilot Vision «помогает анализировать содержимое, предоставлять полезную информацию и отвечать на вопросы, как что-либо сделать. Получайте советы по улучшению творческого проекта, помощи в составлении резюме или инструкциям по освоению новой игры», предлагает Microsoft.

На начальном этапе функция Copilot Vision работала только в браузере Edge, имея доступ к просматриваемым страницам; после этого её действие распространилось на ПО под Windows. Есть также мобильный вариант Copilot Vision — ИИ отвечает на вопросы о том, что попадает в поле зрения камеры смартфона.