Сегодня 16 сентября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → copilot vision

Microsoft научила ИИ-помощника Copilot «видеть» приложения в Windows

Разработчики из Microsoft продолжают расширять возможности своего ИИ-помощника Copilot. На этот раз они запустили функцию Copilot Vision, которая позволяет делиться контентом из браузера или приложений с виртуальным помощником. Активация этой функции позволит Copilot обучаться выполнению действий в приложениях, а также анализировать фотографии и веб-контент, просматриваемый пользователем.

 Источник изображения: Microsoft

Источник изображения: Microsoft

«Когда вы решите включить эту функцию, Copilot Vision сможет видеть то, что видите вы, и говорить с вами об этом в режиме реального времени. Он выступает в роли второй пары глаз, способных анализировать контент, помогать, когда вы теряетесь, предоставлять информацию и отвечать на ваши вопросы по ходу дела», — говорится в сообщении разработчиков.

Напомним, Microsoft начала тестировать функцию Copilot Vision в Windows в начале этого года. Теперь она стала доступна бесплатно для пользователей Windows 11 и Windows 10 в США. Хотя Copilot Vision по-прежнему остаётся одной из экспериментальных функций, для взаимодействия с ней больше не требуется наличие подписки Copilot Pro. В дополнение к этому инструмент Copilot Vision доступен в приложении ИИ-помощника Microsoft для iOS и Android.

Для активации Copilot Vision предусмотрена иконка в виде очков, которая также позволяет выбрать, что именно должен анализировать алгоритм — контент в браузере или приложении. Чтобы функция начала работать, её необходимо включить вручную. Это не похоже на спорную функцию Recall, фиксирующую практически все действия пользователя в Windows.

Microsoft научила бесплатный Copilot «подсматривать» за тем, что пользователь делает в браузере Edge

Функция Copilot Vision, которая позволяет фирменному ИИ-помощнику Microsoft просматривать и понимать происходящее на экране пользовательского устройства, теперь доступна для бесплатного использования в браузере Edge. Об этом сообщил глава подразделения Microsoft AI Мустафа Сулейман (Mustafa Suleyman).

 Источник изображения: Microsoft

Источник изображения: Microsoft

Он также рассказал, что функция Copilot Vision позволяет ИИ-алгоритму буквально видеть то, что видит пользователь на экране. Это нововведение может пригодится в разных ситуациях, например, Copilot может подсказывать выведенный на экран рецепт приготовления какого-то блюда. При этом он не будет самостоятельно переходить по ссылкам или выполнять какие-то действия от имени пользователя.

Более продвинутые общесистемные функции Copilot Vision останутся доступными только платным подписчикам Copilot Pro. С этой подпиской Copilot Vision выходит за пределы Edge и может помогать при взаимодействии с другими приложениями. Например, ИИ-помощник подскажет, как использовать ту или иную функцию Photoshop, расскажет, как пройти трудное место в игре, и др.

Для начала использования Copilot Vision в браузере необходимо с помощью Edge открыть соответствующий раздел на сайте Microsoft и подтвердить своё согласие на использование ИИ-функции. После этого будет достаточно открыть боковую панель Copilot и нажать на ярлык с изображением микрофона. Начало работы функции Copilot Vision будет сопровождаться характерным звуковым сигналом, а в браузере также немного изменится цветовое оформление. Согласно имеющимся данным, Microsoft регистрирует ответы Copilot, но не собирает пользовательскую информацию, изображения или содержание страниц во время взаимодействия с Copilot Vision. Для отключения функции достаточно закрыть окно браузера.


window-new
Soft
Hard
Тренды 🔥
Remedy не сомневается в успехе Control Resonant — раскрыта дата выхода первых обзоров 18 мин.
Фэнтезийный ролевой боевик Wo Long 2: Wings of Ember от создателей Nioh получил новый трейлер, дату выхода и временную демоверсию 45 мин.
Марк Цукерберг также высказался против централизованного замедления развития ИИ 2 ч.
OpenAI не боится замедления ИИ — финансовый директор заявила, что даже остановка разработок не навредит бизнесу 3 ч.
В октябре Microsoft проведёт мероприятие, посвящённое Windows и устройствам Surface 7 ч.
Запущена подписка Meta One с расширенными ИИ-функциями, Muse и всеми платными функциями Instagram, WhatsApp и Facebook 13 ч.
OpenAI, Anthropic и Google DeepMind уже давно тайно обсуждают, как не дать ИИ уничтожить человечество 13 ч.
Главный сценарист The Witcher 3: Wild Hunt рассказал, каким должен быть идеальный квест 15 ч.
Total War: Shogun 2 спустя 15 лет получит полное издание с новым контентом, улучшенной графикой и японской озвучкой 15 ч.
В Америке прошло закрытое тестирование загадочного AAA-файтинга — журналисты подозревают, что это Injustice 3 17 ч.
Micron создала планку DDR5 объёмом полтерабайта 2 мин.
Тан бьёт тревогу: Intel не может удовлетворить даже половину спроса на CPU, а дефицит памяти сохранится до 2028 года 4 мин.
Agility Robotics представила робота Digit 5 — он замирает или приседает при виде человека, но так и задумано 2 ч.
Первый орбитальный запуск мегаракеты SpaceX Starship запланирован на 22 сентября 3 ч.
Дженсен Хуанг заявил, что проблему безопасности ИИ надо решать инженерными методами, а не политическими 4 ч.
Razer представила игровую гарнитуру Kraken V4 X Sensa HD Haptics Edition с тактильной обратной связью 5 ч.
Новый раунд финансирования оценит OpenAI в $1,2 трлн ещё до IPO 6 ч.
144-ядерные Arm-процессоры Fujitsu MONAKA станут доступны в ноябре 9 ч.
Новая статья: Обзор смартфона Google Pixel 11 Pro: когда надо выпустить хоть что-то 11 ч.
Meta заставит ИИ работать дешевле — фирменные ускорители потеснят Nvidia в ЦОД уже в 2027 году 14 ч.