Сегодня 31 августа 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → copilot vision

Microsoft научила ИИ-помощника Copilot «видеть» приложения в Windows

Разработчики из Microsoft продолжают расширять возможности своего ИИ-помощника Copilot. На этот раз они запустили функцию Copilot Vision, которая позволяет делиться контентом из браузера или приложений с виртуальным помощником. Активация этой функции позволит Copilot обучаться выполнению действий в приложениях, а также анализировать фотографии и веб-контент, просматриваемый пользователем.

 Источник изображения: Microsoft

Источник изображения: Microsoft

«Когда вы решите включить эту функцию, Copilot Vision сможет видеть то, что видите вы, и говорить с вами об этом в режиме реального времени. Он выступает в роли второй пары глаз, способных анализировать контент, помогать, когда вы теряетесь, предоставлять информацию и отвечать на ваши вопросы по ходу дела», — говорится в сообщении разработчиков.

Напомним, Microsoft начала тестировать функцию Copilot Vision в Windows в начале этого года. Теперь она стала доступна бесплатно для пользователей Windows 11 и Windows 10 в США. Хотя Copilot Vision по-прежнему остаётся одной из экспериментальных функций, для взаимодействия с ней больше не требуется наличие подписки Copilot Pro. В дополнение к этому инструмент Copilot Vision доступен в приложении ИИ-помощника Microsoft для iOS и Android.

Для активации Copilot Vision предусмотрена иконка в виде очков, которая также позволяет выбрать, что именно должен анализировать алгоритм — контент в браузере или приложении. Чтобы функция начала работать, её необходимо включить вручную. Это не похоже на спорную функцию Recall, фиксирующую практически все действия пользователя в Windows.

Microsoft научила бесплатный Copilot «подсматривать» за тем, что пользователь делает в браузере Edge

Функция Copilot Vision, которая позволяет фирменному ИИ-помощнику Microsoft просматривать и понимать происходящее на экране пользовательского устройства, теперь доступна для бесплатного использования в браузере Edge. Об этом сообщил глава подразделения Microsoft AI Мустафа Сулейман (Mustafa Suleyman).

 Источник изображения: Microsoft

Источник изображения: Microsoft

Он также рассказал, что функция Copilot Vision позволяет ИИ-алгоритму буквально видеть то, что видит пользователь на экране. Это нововведение может пригодится в разных ситуациях, например, Copilot может подсказывать выведенный на экран рецепт приготовления какого-то блюда. При этом он не будет самостоятельно переходить по ссылкам или выполнять какие-то действия от имени пользователя.

Более продвинутые общесистемные функции Copilot Vision останутся доступными только платным подписчикам Copilot Pro. С этой подпиской Copilot Vision выходит за пределы Edge и может помогать при взаимодействии с другими приложениями. Например, ИИ-помощник подскажет, как использовать ту или иную функцию Photoshop, расскажет, как пройти трудное место в игре, и др.

Для начала использования Copilot Vision в браузере необходимо с помощью Edge открыть соответствующий раздел на сайте Microsoft и подтвердить своё согласие на использование ИИ-функции. После этого будет достаточно открыть боковую панель Copilot и нажать на ярлык с изображением микрофона. Начало работы функции Copilot Vision будет сопровождаться характерным звуковым сигналом, а в браузере также немного изменится цветовое оформление. Согласно имеющимся данным, Microsoft регистрирует ответы Copilot, но не собирает пользовательскую информацию, изображения или содержание страниц во время взаимодействия с Copilot Vision. Для отключения функции достаточно закрыть окно браузера.


window-new
Soft
Hard
Тренды 🔥
Meta может начать использовать ИИ-модели Google и OpenAI в своих приложениях 6 ч.
Белый дом приказал вернуть ИИ-бота xAI Grok «как можно скорее» 8 ч.
Команда специалистов Meta по ИИ, на которую Цукерберг потратил миллиарды долларов, уже трещит по швам 10 ч.
Новая статья: Is This Seat Taken? — все когда-нибудь сядут. Рецензия 17 ч.
Meta без спроса заполонила свои соцсети ИИ-двойниками Тейлор Свифт, Скарлетт Йоханссон и других знаменитостей 23 ч.
Стартап Илона Маска обвинил бывшего сотрудника в краже секретов для OpenAI 30-08 14:19
xAI Илона Маска представила ИИ для программирования, который отвечает мгновенно 30-08 14:04
Тестирование крупного обновления Windows 11 25H2 вышло на финишный этап 30-08 11:45
ЕС всё же оштрафует Google за антиконкурентное поведение, но наказание будет скромным 30-08 10:43
Meta исправила методику обучения ИИ после скандала с неуместными разговорами с подростками 30-08 10:23
Alibaba разработала собственный ИИ-ускоритель для инференса 34 мин.
Новый урок арифметики от NVIDIA: Дженсен Хуанг назвал фантастическую сумму капзатрат на ИИ-инфраструктуру 54 мин.
Очередная конференция Nvidia GTC пройдёт с 16 по 19 марта 2026 года 5 ч.
Samsung анонсировала 37-дюймовый монитор ViewFinity S8 с поддержкой 4K, USB Type-C на 90 Вт и встроенным KVM-переключателем 6 ч.
SK hynix серьёзно приблизилась к Samsung по величине выручки на рынке NAND во втором квартале 8 ч.
Samsung готова усилить собственные разработки ИИ-моделями с открытым исходным кодом 8 ч.
Samsung добавила ИИ-помощника Microsoft Copilot в свои новые телевизоры 9 ч.
Доля электромобилей на рынке Китая достигла 31 %, а с учётом гибридов перевалила за 50 % 9 ч.
В блистающих останках умирающей звезды «Джеймс Уэбб» увидел, как могла зарождаться Земля 20 ч.
Nvidia захватила почти четверть рынка GPU для ПК — лидирует Intel, а доля AMD сжалась до 14 % 30-08 16:18