Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → copilot vision

Microsoft научила ИИ-помощника Copilot «видеть» приложения в Windows

Разработчики из Microsoft продолжают расширять возможности своего ИИ-помощника Copilot. На этот раз они запустили функцию Copilot Vision, которая позволяет делиться контентом из браузера или приложений с виртуальным помощником. Активация этой функции позволит Copilot обучаться выполнению действий в приложениях, а также анализировать фотографии и веб-контент, просматриваемый пользователем.

 Источник изображения: Microsoft

Источник изображения: Microsoft

«Когда вы решите включить эту функцию, Copilot Vision сможет видеть то, что видите вы, и говорить с вами об этом в режиме реального времени. Он выступает в роли второй пары глаз, способных анализировать контент, помогать, когда вы теряетесь, предоставлять информацию и отвечать на ваши вопросы по ходу дела», — говорится в сообщении разработчиков.

Напомним, Microsoft начала тестировать функцию Copilot Vision в Windows в начале этого года. Теперь она стала доступна бесплатно для пользователей Windows 11 и Windows 10 в США. Хотя Copilot Vision по-прежнему остаётся одной из экспериментальных функций, для взаимодействия с ней больше не требуется наличие подписки Copilot Pro. В дополнение к этому инструмент Copilot Vision доступен в приложении ИИ-помощника Microsoft для iOS и Android.

Для активации Copilot Vision предусмотрена иконка в виде очков, которая также позволяет выбрать, что именно должен анализировать алгоритм — контент в браузере или приложении. Чтобы функция начала работать, её необходимо включить вручную. Это не похоже на спорную функцию Recall, фиксирующую практически все действия пользователя в Windows.

Microsoft научила бесплатный Copilot «подсматривать» за тем, что пользователь делает в браузере Edge

Функция Copilot Vision, которая позволяет фирменному ИИ-помощнику Microsoft просматривать и понимать происходящее на экране пользовательского устройства, теперь доступна для бесплатного использования в браузере Edge. Об этом сообщил глава подразделения Microsoft AI Мустафа Сулейман (Mustafa Suleyman).

 Источник изображения: Microsoft

Источник изображения: Microsoft

Он также рассказал, что функция Copilot Vision позволяет ИИ-алгоритму буквально видеть то, что видит пользователь на экране. Это нововведение может пригодится в разных ситуациях, например, Copilot может подсказывать выведенный на экран рецепт приготовления какого-то блюда. При этом он не будет самостоятельно переходить по ссылкам или выполнять какие-то действия от имени пользователя.

Более продвинутые общесистемные функции Copilot Vision останутся доступными только платным подписчикам Copilot Pro. С этой подпиской Copilot Vision выходит за пределы Edge и может помогать при взаимодействии с другими приложениями. Например, ИИ-помощник подскажет, как использовать ту или иную функцию Photoshop, расскажет, как пройти трудное место в игре, и др.

Для начала использования Copilot Vision в браузере необходимо с помощью Edge открыть соответствующий раздел на сайте Microsoft и подтвердить своё согласие на использование ИИ-функции. После этого будет достаточно открыть боковую панель Copilot и нажать на ярлык с изображением микрофона. Начало работы функции Copilot Vision будет сопровождаться характерным звуковым сигналом, а в браузере также немного изменится цветовое оформление. Согласно имеющимся данным, Microsoft регистрирует ответы Copilot, но не собирает пользовательскую информацию, изображения или содержание страниц во время взаимодействия с Copilot Vision. Для отключения функции достаточно закрыть окно браузера.


window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 9 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 10 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 10 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 11 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 12 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 12 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 13 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 14 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 15 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 15 ч.
Phison представила космические SSD Pascari Space 7 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 9 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 9 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 10 ч.
Инженеры угрожают новому руководству Nvidia увольнениями, если Хуанг не вернётся на пост гендира 10 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 11 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 11 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 11 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 11 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 12 ч.