Microsoft начала тестировать очередное обновление приложения Copilot для Windows, которое позволит транслировать изображение экрана компьютера и интерфейс запущенных на нём приложений помощнику с искусственным интеллектом. Первоначально функция Copilot Vision ограничивалась браузером Edge, но теперь она распространяется на любое приложение на ПК.

Источник изображения: blogs.windows.com

Copilot Vision способен помочь разобраться в том, как работает Adobe Photoshop, проанализировать фотографии или веб-страницы, которые открывает пользователь. На мероприятии, посвящённом 50-летию Microsoft, компания показала, как ассистент помогает играть в Minecraft и оптимизировать настройки в видеоредакторе Clipchamp. Протестировать предварительную версию Copilot Vision могут только участники программы Windows Insider из США.

Copilot может подсвечивать определённые участки экрана, чтобы помочь пользователю сориентироваться в интерфейсе той или иной программы. На практике это похоже отчасти на функцию Recall, которая автоматически делает снимки экрана и позволяет производить по ним поиск, и отчасти — на трансляцию экрана через Microsoft Teams. В Copilot для Windows также стартовало тестирование ИИ-поиска файлов — он позволяет задавать помощнику вопросы об их содержимом; поддерживаются форматы .DOCX, .XLSX, .PPTX, .TXT, .PDF и .JSON. Обе эти функции доступны для всех ПК с Copilot для Windows, а не только Copilot Plus PC.

Функция Copilot Vision также доступна в приложениях для iOS и Android. На ПК функция пока тестируется в рамках программы Windows Insider, но в ближайшие недели или месяцы она может стать общедоступной.

В предварительной сборке Windows 11 22635.4225 (KB5043186) на канале бета-версий появилась функция, которая позволяет менять назначение клавиши Copilot, присутствующей на ноутбуках класса Copilot+ PC. Вместо помощника с искусственным интеллектом по нажатию клавиши можно запускать другое приложение, но не любое. И это ограничение можно обойти.

Источник изображения: blogs.windows.com

В настройках системы теперь можно выбрать, какое приложение будет запускаться по нажатии кнопки Copilot — единственное требование состоит в том, что оно должно быть «упаковано и подписано MSIX». Microsoft объяснила это ограничение стремлением обеспечить безопасность и конфиденциальность пользователей Windows 11. Иными словами, по нажатию клавиши Copilot можно запускать не любые, а только сертифицированные приложения.

MSIX — новый формат упаковки ПО, предполагающий повышенную надёжность, а также приоритет в использовании пропускной способности сети и дискового пространства в сравнении с традиционными исполняемыми файлами, отличными от формата упаковки MSIX.

Предложенный в бета-версии Windows 11 способ изменить назначение клавиши Copilot не является единственно возможным. Copilot соответствует кнопке F23, восходящей к эпохе IBM, когда на клавиатурах присутствовал набор функциональных клавиш от F1 до F24. Поэтому можно воспользоваться сторонним ПО и назначить на F23 (она же Copilot) запуск любого другого приложения, не дожидаясь общедоступного обновления Windows 11.

На этой неделе Microsoft запустила линейку ноутбуков Copilot Plus PC — все они получили кнопку Copilot на клавиатуре, и это первое большое изменение Windows-клавиатур за последние 30 лет. Но сейчас практической пользы от этой кнопки мало — по её нажатии просто запускается прогрессивное веб-приложение (PWA) Copilot.

Источник изображения: blogs.windows.com

Веб-приложение лишено интеграции с Windows, хотя Microsoft активно развивала это направление Copilot с прошлого года. Copilot нельзя использовать для управления настройками Windows 11 или закрепить помощник с искусственным интеллектом в качестве боковой панели. Это просто PWA. На новых Copilot Plus PC не работает даже сочетание клавиш WIN + C, которым Copilot вызывался раньше. Появление новой клавиши давало надежду, что когда-нибудь будет поддерживаться множество операций, вызываемых сочетаниями клавиш — от этого было бы явно больше пользы, чем просто от запуска PWA.

Microsoft пока не объяснила, почему отказалась от интеграции ИИ в пользу элементарного веб-приложения, которое не может управлять настройками ОС. «Мы также развиваем работу Copilot в Windows в качестве приложения, которое будет закрепляться на панели задач. Это открывает пользователям преимущества работы с традиционным приложением с возможностью изменять размер, перемещать или прикреплять окно — [такие] отзывы мы слышали от пользователей при тестировании Copilot в Windows», — гласит публикация в блоге Windows Insider. Microsoft, вероятно, продолжит «гибко разрабатывать и оптимизировать» Copilot, и в перспективе ИИ-помощник изменится так, что оправдает этот регресс функциональности. А пока значок PWA Copilot закреплён на панели задач, и потребности в отдельной клавише нет никакой.

В прошлом месяце некоторые пользователи Windows 11 сообщали, что Microsoft автоматически и без уведомления установила на их компьютеры приложение Copilot. Некоторые подозревали компанию в тайной слежке и сборе данных, однако в опубликованном вчера на сайте техподдержки Microsoft документе говорится, что всему виной техническая ошибка.

Источник изображения: Microsoft

По словам компании, выпущенное 28 марта 2024 года обновление Edge «некорректно устанавливало новый пакет (MSIX) под названием "Поставщик чата Microsoft для Copilot в Windows" (Microsoft chat provider for Copilot in Windows)», в результате в установленных приложениях мог появиться Copilot.

Microsoft уверяет, что автоматически установленное приложение Copilot не работает в фоновом режиме, не выполняет код или процессы, не собирает и не передаёт данные. Некорректно установленный пакет предназначался для подготовки отдельных ПК с Windows 11 к будущему включению Windows Copilot. В одном из будущих обновлений приложение будет удалено.

Обнаружив среди установленных приложений Copilot, многие пользователи поспешили выразить недовольство на форумах и в социальных сетях, однако впоследствии выяснилось, что оно занимает 0 байт и скорее всего является «заглушкой». Приложение свободно удалялось штатными средствами Windows, что не помешало людям в очередной раз поднять тему установки приложений без их ведома.

По посвящённом бизнес-продуктам мероприятии компания Microsoft не только показала Surface Pro 10 и Surface Laptop 6, но и рассказала о новых возможностях помощника на базе искусственного интеллекта Copilot.

Источник изображений: Microsoft

В первую очередь, ИИ-помощник отныне интегрирован с Microsoft 365, что позволит получить из стандартной панели Copilot для Windows 11 доступ ко всем данным пользователя — электронными письмам, встречам, перепискам и документам.

В следующей тестовой сборке Windows 11 у Copilot появятся новые возможности для людей с ограниченными возможностями: искусственный интеллект сможет запустить Windows Narrator, активировать экранную лупу, отмасштабировать текст или включить живые субтитры. Copilot выполнит голосовые команды, такие как вставка текста или мультимедийных объектов, нажатие определённых клавиш, щелчок мышью, открытие папки, файла, приложения или ссылки, переключит с одного монитора на другой.

Доступная лишь корпоративным клиентам облачная Windows 365 получит аппаратное ускорение с поддержкой графических процессоров NVIDIA и AMD, что будет особенно полезно при работе с графическими и видеоредакторами, приложениями для 3D-моделирования, программным обеспечением для анализа и визуализации данных. Клиентам будут доступны варианты с объёмом видеопамяти от 4 до 16 Гбайт, а тип конкретного графического процессора можно будет узнать на вкладке «Производительность» диспетчера задач — Microsoft объясняет это неудобство динамическим распределением нагрузки.