Сегодня 11 августа 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → copilot vision

Microsoft научила ИИ-помощника Copilot «видеть» приложения в Windows

Разработчики из Microsoft продолжают расширять возможности своего ИИ-помощника Copilot. На этот раз они запустили функцию Copilot Vision, которая позволяет делиться контентом из браузера или приложений с виртуальным помощником. Активация этой функции позволит Copilot обучаться выполнению действий в приложениях, а также анализировать фотографии и веб-контент, просматриваемый пользователем.

 Источник изображения: Microsoft

Источник изображения: Microsoft

«Когда вы решите включить эту функцию, Copilot Vision сможет видеть то, что видите вы, и говорить с вами об этом в режиме реального времени. Он выступает в роли второй пары глаз, способных анализировать контент, помогать, когда вы теряетесь, предоставлять информацию и отвечать на ваши вопросы по ходу дела», — говорится в сообщении разработчиков.

Напомним, Microsoft начала тестировать функцию Copilot Vision в Windows в начале этого года. Теперь она стала доступна бесплатно для пользователей Windows 11 и Windows 10 в США. Хотя Copilot Vision по-прежнему остаётся одной из экспериментальных функций, для взаимодействия с ней больше не требуется наличие подписки Copilot Pro. В дополнение к этому инструмент Copilot Vision доступен в приложении ИИ-помощника Microsoft для iOS и Android.

Для активации Copilot Vision предусмотрена иконка в виде очков, которая также позволяет выбрать, что именно должен анализировать алгоритм — контент в браузере или приложении. Чтобы функция начала работать, её необходимо включить вручную. Это не похоже на спорную функцию Recall, фиксирующую практически все действия пользователя в Windows.

Microsoft научила бесплатный Copilot «подсматривать» за тем, что пользователь делает в браузере Edge

Функция Copilot Vision, которая позволяет фирменному ИИ-помощнику Microsoft просматривать и понимать происходящее на экране пользовательского устройства, теперь доступна для бесплатного использования в браузере Edge. Об этом сообщил глава подразделения Microsoft AI Мустафа Сулейман (Mustafa Suleyman).

 Источник изображения: Microsoft

Источник изображения: Microsoft

Он также рассказал, что функция Copilot Vision позволяет ИИ-алгоритму буквально видеть то, что видит пользователь на экране. Это нововведение может пригодится в разных ситуациях, например, Copilot может подсказывать выведенный на экран рецепт приготовления какого-то блюда. При этом он не будет самостоятельно переходить по ссылкам или выполнять какие-то действия от имени пользователя.

Более продвинутые общесистемные функции Copilot Vision останутся доступными только платным подписчикам Copilot Pro. С этой подпиской Copilot Vision выходит за пределы Edge и может помогать при взаимодействии с другими приложениями. Например, ИИ-помощник подскажет, как использовать ту или иную функцию Photoshop, расскажет, как пройти трудное место в игре, и др.

Для начала использования Copilot Vision в браузере необходимо с помощью Edge открыть соответствующий раздел на сайте Microsoft и подтвердить своё согласие на использование ИИ-функции. После этого будет достаточно открыть боковую панель Copilot и нажать на ярлык с изображением микрофона. Начало работы функции Copilot Vision будет сопровождаться характерным звуковым сигналом, а в браузере также немного изменится цветовое оформление. Согласно имеющимся данным, Microsoft регистрирует ответы Copilot, но не собирает пользовательскую информацию, изображения или содержание страниц во время взаимодействия с Copilot Vision. Для отключения функции достаточно закрыть окно браузера.


window-new
Soft
Hard
Тренды 🔥
Календарь релизов — 11 – 17 августа: The Scouring, Echoes of the End и ремастер W40K: Dawn of War 8 мин.
Mortal Kombat 1 покорила новую вершину продаж и взяла курс на звание «самой сбалансированной» игры серии 14 мин.
«Займёт своё место в пантеоне "Цивилизаций"»: руководство Take-Two не потеряло веру в Sid Meier’s Civilization VII, несмотря на слабый старт продаж 2 ч.
Россияне пожаловались на массовые сбои при звонках в WhatsApp и Telegram 2 ч.
Бывший президент Blizzard предсказал, что Battlefield 6 «раздавит» Call of Duty: Black Ops 7, и все от этого выиграют 6 ч.
Создатели Delta Force анонсировали хоррор-шутер Crossfire: Rainbow — геймплейный трейлер и первые подробности 6 ч.
Раздача кооперативного боевика Guntouchables в Steam превзошла все ожидания разработчиков, но играют меньше 1 % от скачавших 6 ч.
Ubisoft проговорилась о сериале Far Cry от создателей «Фарго» и «В Филадельфии всегда солнечно» 8 ч.
VI Форум «Мой бизнес» в Архангельске: предприниматели, эксперты и представители власти обсудят рост в новых условиях 10 ч.
«Странно для публичной компании отказываться от лёгких денег»: Electronic Arts забраковала ремейк Dragon Age: Origins и ремастер трилогии 10 ч.
«Выглядит как нечто, созданное Apple»: энтузиаст соединил iPad Pro и MacBook Air в полнофункциональный гибрид 2 ч.
Минцифры закроет лазейку для обхода блокировок через спутниковый интернет — Direct to Cell в России запретят 3 ч.
Популярный игровой процессор Ryzen 7 5700X3D скоро навсегда исчезнет из магазинов 3 ч.
Огромная видеокарта GeForce RTX 5080 Noctua Edition оказалась самой дорогой RTX 5080 от Asus — за неё просят больше $2000 4 ч.
Одна из самых дорогих RTX 5090: Asus оценила GeForce RTX 5090 ROG Astral OC BTF с разъёмом GC-HPWR в €3084 5 ч.
Xiaomi отгрузила всего 6042 электромобиля YU7, хотя заказы превысили 200 000 единиц за три минуты 5 ч.
Китай развернул антирекламную кампанию против Nvidia H20 6 ч.
Brookfield: в течение десяти лет мощность ИИ ЦОД вырастет на порядок, а расходы на ИИ-инфраструктуру превысят $7 трлн 7 ч.
Бывшая российская «дочка» Xerox начнёт выпускать принтеры и МФУ под собственным брендом 8 ч.
Цены на память DDR4 взлетят почти вдвое — дефицит сохранится до конца года 8 ч.