Сегодня 28 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → copilot vision

Microsoft научила ИИ-помощника Copilot «видеть» приложения в Windows

Разработчики из Microsoft продолжают расширять возможности своего ИИ-помощника Copilot. На этот раз они запустили функцию Copilot Vision, которая позволяет делиться контентом из браузера или приложений с виртуальным помощником. Активация этой функции позволит Copilot обучаться выполнению действий в приложениях, а также анализировать фотографии и веб-контент, просматриваемый пользователем.

 Источник изображения: Microsoft

Источник изображения: Microsoft

«Когда вы решите включить эту функцию, Copilot Vision сможет видеть то, что видите вы, и говорить с вами об этом в режиме реального времени. Он выступает в роли второй пары глаз, способных анализировать контент, помогать, когда вы теряетесь, предоставлять информацию и отвечать на ваши вопросы по ходу дела», — говорится в сообщении разработчиков.

Напомним, Microsoft начала тестировать функцию Copilot Vision в Windows в начале этого года. Теперь она стала доступна бесплатно для пользователей Windows 11 и Windows 10 в США. Хотя Copilot Vision по-прежнему остаётся одной из экспериментальных функций, для взаимодействия с ней больше не требуется наличие подписки Copilot Pro. В дополнение к этому инструмент Copilot Vision доступен в приложении ИИ-помощника Microsoft для iOS и Android.

Для активации Copilot Vision предусмотрена иконка в виде очков, которая также позволяет выбрать, что именно должен анализировать алгоритм — контент в браузере или приложении. Чтобы функция начала работать, её необходимо включить вручную. Это не похоже на спорную функцию Recall, фиксирующую практически все действия пользователя в Windows.

Microsoft научила бесплатный Copilot «подсматривать» за тем, что пользователь делает в браузере Edge

Функция Copilot Vision, которая позволяет фирменному ИИ-помощнику Microsoft просматривать и понимать происходящее на экране пользовательского устройства, теперь доступна для бесплатного использования в браузере Edge. Об этом сообщил глава подразделения Microsoft AI Мустафа Сулейман (Mustafa Suleyman).

 Источник изображения: Microsoft

Источник изображения: Microsoft

Он также рассказал, что функция Copilot Vision позволяет ИИ-алгоритму буквально видеть то, что видит пользователь на экране. Это нововведение может пригодится в разных ситуациях, например, Copilot может подсказывать выведенный на экран рецепт приготовления какого-то блюда. При этом он не будет самостоятельно переходить по ссылкам или выполнять какие-то действия от имени пользователя.

Более продвинутые общесистемные функции Copilot Vision останутся доступными только платным подписчикам Copilot Pro. С этой подпиской Copilot Vision выходит за пределы Edge и может помогать при взаимодействии с другими приложениями. Например, ИИ-помощник подскажет, как использовать ту или иную функцию Photoshop, расскажет, как пройти трудное место в игре, и др.

Для начала использования Copilot Vision в браузере необходимо с помощью Edge открыть соответствующий раздел на сайте Microsoft и подтвердить своё согласие на использование ИИ-функции. После этого будет достаточно открыть боковую панель Copilot и нажать на ярлык с изображением микрофона. Начало работы функции Copilot Vision будет сопровождаться характерным звуковым сигналом, а в браузере также немного изменится цветовое оформление. Согласно имеющимся данным, Microsoft регистрирует ответы Copilot, но не собирает пользовательскую информацию, изображения или содержание страниц во время взаимодействия с Copilot Vision. Для отключения функции достаточно закрыть окно браузера.


window-new
Soft
Hard
Тренды 🔥
Akamai расширила платформу AI Cloud средами для инференса и работы ИИ-агентов 7 ч.
Opera представила WebAI — теперь браузер сможет запускать ИИ прямо на компьютере без облака 7 ч.
Nvidia экстренно обновила драйверы, чтобы починить зависания видео и чёрные экраны на GeForce RTX 5000 и RTX Spark 10 ч.
Новая вакансия в команде Cyberpunk 2 заинтриговала любителей кооператива 10 ч.
Intel поглощает стартап Classiq, разрабатывающий софт для квантовых компьютеров 12 ч.
Call of Duty: Modern Warfare 4 помогла франшизе достичь 40 миллиардов долларов выручки, но до покемонов всё ещё далеко 12 ч.
Assassin’s Creed Black Flag Resynced получила последнее крупное обновление — с «Новой игрой +», старыми добиваниями и «кошмарной» сложностью 13 ч.
Apple внедрила ИИ в свои аналоги Word и Excel 13 ч.
Разработчики Kingdom Come: Deliverance и RPG по «Властелину колец» стали жертвой кибератаки — официальное заявление Warhorse Studios 15 ч.
«Атмосфера присутствует, но на этом всё»: лавкрафтианский хоррор Stygian: Outer Gods покинул ранний доступ и утонул в критике игроков 15 ч.
Broadcom договорилась с банками о кредитах на $63 млрд для поставок её чипов Anthropic 7 ч.
Новая статья: Первые впечатления от iPhone Duo: Apple изобретает велосипед 8 ч.
Мышь с сенсорным экраном: Arctic Fox представила Super Mouse за $199 — она распознаёт приложения и превращает речь в текст 9 ч.
Nvidia и AMD вложат $4 млрд в Meta — на них Цукерберг купит ещё ИИ-ускорителей 10 ч.
Шаг к квантовым суперкомпьютерам: IBM научилась передавать квантовую информацию между чипами с точностью 99 % 10 ч.
Nvidia не смогла выпустить Vera Rubin, которые обещала: память HBM4 замедлилась, а местами даже ужалась 10 ч.
TSMC может поднять цены на упаковку ИИ-чипов на 20 % — спрос опережает производство 12 ч.
Intel поглотила разработчика «Windows для квантовых ПК» — теперь у неё будет всё для создания квантовых компьютеров 13 ч.
Подмена GPS и охота за серверами: преступники стали угонять грузы для дата-центров на миллионы долларов 14 ч.
Alexium предлагает превратить стены ЦОД в тепловой буфер 14 ч.