Сегодня 11 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → copilot vision

Microsoft научила ИИ-помощника Copilot «видеть» приложения в Windows

Разработчики из Microsoft продолжают расширять возможности своего ИИ-помощника Copilot. На этот раз они запустили функцию Copilot Vision, которая позволяет делиться контентом из браузера или приложений с виртуальным помощником. Активация этой функции позволит Copilot обучаться выполнению действий в приложениях, а также анализировать фотографии и веб-контент, просматриваемый пользователем.

 Источник изображения: Microsoft

Источник изображения: Microsoft

«Когда вы решите включить эту функцию, Copilot Vision сможет видеть то, что видите вы, и говорить с вами об этом в режиме реального времени. Он выступает в роли второй пары глаз, способных анализировать контент, помогать, когда вы теряетесь, предоставлять информацию и отвечать на ваши вопросы по ходу дела», — говорится в сообщении разработчиков.

Напомним, Microsoft начала тестировать функцию Copilot Vision в Windows в начале этого года. Теперь она стала доступна бесплатно для пользователей Windows 11 и Windows 10 в США. Хотя Copilot Vision по-прежнему остаётся одной из экспериментальных функций, для взаимодействия с ней больше не требуется наличие подписки Copilot Pro. В дополнение к этому инструмент Copilot Vision доступен в приложении ИИ-помощника Microsoft для iOS и Android.

Для активации Copilot Vision предусмотрена иконка в виде очков, которая также позволяет выбрать, что именно должен анализировать алгоритм — контент в браузере или приложении. Чтобы функция начала работать, её необходимо включить вручную. Это не похоже на спорную функцию Recall, фиксирующую практически все действия пользователя в Windows.

Microsoft научила бесплатный Copilot «подсматривать» за тем, что пользователь делает в браузере Edge

Функция Copilot Vision, которая позволяет фирменному ИИ-помощнику Microsoft просматривать и понимать происходящее на экране пользовательского устройства, теперь доступна для бесплатного использования в браузере Edge. Об этом сообщил глава подразделения Microsoft AI Мустафа Сулейман (Mustafa Suleyman).

 Источник изображения: Microsoft

Источник изображения: Microsoft

Он также рассказал, что функция Copilot Vision позволяет ИИ-алгоритму буквально видеть то, что видит пользователь на экране. Это нововведение может пригодится в разных ситуациях, например, Copilot может подсказывать выведенный на экран рецепт приготовления какого-то блюда. При этом он не будет самостоятельно переходить по ссылкам или выполнять какие-то действия от имени пользователя.

Более продвинутые общесистемные функции Copilot Vision останутся доступными только платным подписчикам Copilot Pro. С этой подпиской Copilot Vision выходит за пределы Edge и может помогать при взаимодействии с другими приложениями. Например, ИИ-помощник подскажет, как использовать ту или иную функцию Photoshop, расскажет, как пройти трудное место в игре, и др.

Для начала использования Copilot Vision в браузере необходимо с помощью Edge открыть соответствующий раздел на сайте Microsoft и подтвердить своё согласие на использование ИИ-функции. После этого будет достаточно открыть боковую панель Copilot и нажать на ярлык с изображением микрофона. Начало работы функции Copilot Vision будет сопровождаться характерным звуковым сигналом, а в браузере также немного изменится цветовое оформление. Согласно имеющимся данным, Microsoft регистрирует ответы Copilot, но не собирает пользовательскую информацию, изображения или содержание страниц во время взаимодействия с Copilot Vision. Для отключения функции достаточно закрыть окно браузера.


window-new
Soft
Hard
Тренды 🔥
Sony показала 17 минут геймплея Ghost of Yotei и анонсировала лимитированные PS5 в стиле игры 3 ч.
Агентство по охране окружающей среды США посетовало на непрекращающиеся попытки бездумного внедрения ИИ 3 ч.
TikTok уже приступил к реструктуризации американского бизнеса, хотя перспективы сделки не ясны 4 ч.
ГК «Гарда»: лишь треть российских компаний использует решения для защиты данных 4 ч.
Новая статья: В малом весе: обзор российских мобильных операционных систем 12 ч.
YouTube объявил о закрытии раздела «В тренде», но уже готовит ему замену 13 ч.
Забастовка актёров озвучки игр наконец завершена — участники SAG-AFTRA одобрили новый договор 15 ч.
«Я был пьян, но утечки так и не случилось»: глава издательского отдела Larian рассказал, как чуть не «слил» дату выхода Baldur's Gate 3 16 ч.
Google Gemini научился превращать фото в восьмисекундные видео со звуком, но небесплатно 16 ч.
ЕС открыл новое дело против TikTok за передачу данных европейцев в Китай — ранее соцсеть уже штрафовали за это на €530 млн 17 ч.
Производитель смартфонов Nokia сократит своё присутствие в США 11 мин.
Доля зарубежного трафика в российских сетях подскочила на 15–25 % за последний год 24 мин.
«Зачастили они»: болид озарил ночное небо над Челябинском 34 мин.
Минпромторг урезал субсидии радиоэлектронной отрасли почти вдвое в 2025 году и сократит их ещё больше в 2026-м 2 ч.
На свою третью годовщину телескоп «Джеймс Уэбб» во всей красе показал туманность «Кошачья лапа» 2 ч.
Проблемы Tesla и электромобильного рынка США в целом вынудили Panasonic притормозить строительство аккумуляторного завода в США 2 ч.
В облаке AWS появились инстансы EC2 P6e-GB200 UltraServer на базе ИИ-суперускорителей NVIDIA GB200 NVL72 3 ч.
В России стартовали продажи смартфона Honor X6c с мощной батареей и повышенной прочностью за 12 000 рублей 3 ч.
Электрический гиперкар Rimac Nevera R установил 24 новых мировых рекорда, разогнавшись до 431,45 км/ч 5 ч.
Huawei пытается продвигать свои ускорители вычислений на Ближнем Востоке и в Юго-Восточной Азии 5 ч.