Microsoft начала тестировать очередное обновление приложения Copilot для Windows, которое позволит транслировать изображение экрана компьютера и интерфейс запущенных на нём приложений помощнику с искусственным интеллектом. Первоначально функция Copilot Vision ограничивалась браузером Edge, но теперь она распространяется на любое приложение на ПК.

Источник изображения: blogs.windows.com

Copilot Vision способен помочь разобраться в том, как работает Adobe Photoshop, проанализировать фотографии или веб-страницы, которые открывает пользователь. На мероприятии, посвящённом 50-летию Microsoft, компания показала, как ассистент помогает играть в Minecraft и оптимизировать настройки в видеоредакторе Clipchamp. Протестировать предварительную версию Copilot Vision могут только участники программы Windows Insider из США.

Copilot может подсвечивать определённые участки экрана, чтобы помочь пользователю сориентироваться в интерфейсе той или иной программы. На практике это похоже отчасти на функцию Recall, которая автоматически делает снимки экрана и позволяет производить по ним поиск, и отчасти — на трансляцию экрана через Microsoft Teams. В Copilot для Windows также стартовало тестирование ИИ-поиска файлов — он позволяет задавать помощнику вопросы об их содержимом; поддерживаются форматы .DOCX, .XLSX, .PPTX, .TXT, .PDF и .JSON. Обе эти функции доступны для всех ПК с Copilot для Windows, а не только Copilot Plus PC.

Функция Copilot Vision также доступна в приложениях для iOS и Android. На ПК функция пока тестируется в рамках программы Windows Insider, но в ближайшие недели или месяцы она может стать общедоступной.

В предварительной сборке Windows 11 22635.4225 (KB5043186) на канале бета-версий появилась функция, которая позволяет менять назначение клавиши Copilot, присутствующей на ноутбуках класса Copilot+ PC. Вместо помощника с искусственным интеллектом по нажатию клавиши можно запускать другое приложение, но не любое. И это ограничение можно обойти.

Источник изображения: blogs.windows.com

В настройках системы теперь можно выбрать, какое приложение будет запускаться по нажатии кнопки Copilot — единственное требование состоит в том, что оно должно быть «упаковано и подписано MSIX». Microsoft объяснила это ограничение стремлением обеспечить безопасность и конфиденциальность пользователей Windows 11. Иными словами, по нажатию клавиши Copilot можно запускать не любые, а только сертифицированные приложения.

MSIX — новый формат упаковки ПО, предполагающий повышенную надёжность, а также приоритет в использовании пропускной способности сети и дискового пространства в сравнении с традиционными исполняемыми файлами, отличными от формата упаковки MSIX.

Предложенный в бета-версии Windows 11 способ изменить назначение клавиши Copilot не является единственно возможным. Copilot соответствует кнопке F23, восходящей к эпохе IBM, когда на клавиатурах присутствовал набор функциональных клавиш от F1 до F24. Поэтому можно воспользоваться сторонним ПО и назначить на F23 (она же Copilot) запуск любого другого приложения, не дожидаясь общедоступного обновления Windows 11.

На этой неделе Microsoft запустила линейку ноутбуков Copilot Plus PC — все они получили кнопку Copilot на клавиатуре, и это первое большое изменение Windows-клавиатур за последние 30 лет. Но сейчас практической пользы от этой кнопки мало — по её нажатии просто запускается прогрессивное веб-приложение (PWA) Copilot.

Источник изображения: blogs.windows.com

Веб-приложение лишено интеграции с Windows, хотя Microsoft активно развивала это направление Copilot с прошлого года. Copilot нельзя использовать для управления настройками Windows 11 или закрепить помощник с искусственным интеллектом в качестве боковой панели. Это просто PWA. На новых Copilot Plus PC не работает даже сочетание клавиш WIN + C, которым Copilot вызывался раньше. Появление новой клавиши давало надежду, что когда-нибудь будет поддерживаться множество операций, вызываемых сочетаниями клавиш — от этого было бы явно больше пользы, чем просто от запуска PWA.

Microsoft пока не объяснила, почему отказалась от интеграции ИИ в пользу элементарного веб-приложения, которое не может управлять настройками ОС. «Мы также развиваем работу Copilot в Windows в качестве приложения, которое будет закрепляться на панели задач. Это открывает пользователям преимущества работы с традиционным приложением с возможностью изменять размер, перемещать или прикреплять окно — [такие] отзывы мы слышали от пользователей при тестировании Copilot в Windows», — гласит публикация в блоге Windows Insider. Microsoft, вероятно, продолжит «гибко разрабатывать и оптимизировать» Copilot, и в перспективе ИИ-помощник изменится так, что оправдает этот регресс функциональности. А пока значок PWA Copilot закреплён на панели задач, и потребности в отдельной клавише нет никакой.

В прошлом месяце некоторые пользователи Windows 11 сообщали, что Microsoft автоматически и без уведомления установила на их компьютеры приложение Copilot. Некоторые подозревали компанию в тайной слежке и сборе данных, однако в опубликованном вчера на сайте техподдержки Microsoft документе говорится, что всему виной техническая ошибка.

Источник изображения: Microsoft

По словам компании, выпущенное 28 марта 2024 года обновление Edge «некорректно устанавливало новый пакет (MSIX) под названием "Поставщик чата Microsoft для Copilot в Windows" (Microsoft chat provider for Copilot in Windows)», в результате в установленных приложениях мог появиться Copilot.

Microsoft уверяет, что автоматически установленное приложение Copilot не работает в фоновом режиме, не выполняет код или процессы, не собирает и не передаёт данные. Некорректно установленный пакет предназначался для подготовки отдельных ПК с Windows 11 к будущему включению Windows Copilot. В одном из будущих обновлений приложение будет удалено.

Обнаружив среди установленных приложений Copilot, многие пользователи поспешили выразить недовольство на форумах и в социальных сетях, однако впоследствии выяснилось, что оно занимает 0 байт и скорее всего является «заглушкой». Приложение свободно удалялось штатными средствами Windows, что не помешало людям в очередной раз поднять тему установки приложений без их ведома.

По посвящённом бизнес-продуктам мероприятии компания Microsoft не только показала Surface Pro 10 и Surface Laptop 6, но и рассказала о новых возможностях помощника на базе искусственного интеллекта Copilot.

Источник изображений: Microsoft

В первую очередь, ИИ-помощник отныне интегрирован с Microsoft 365, что позволит получить из стандартной панели Copilot для Windows 11 доступ ко всем данным пользователя — электронными письмам, встречам, перепискам и документам.

В следующей тестовой сборке Windows 11 у Copilot появятся новые возможности для людей с ограниченными возможностями: искусственный интеллект сможет запустить Windows Narrator, активировать экранную лупу, отмасштабировать текст или включить живые субтитры. Copilot выполнит голосовые команды, такие как вставка текста или мультимедийных объектов, нажатие определённых клавиш, щелчок мышью, открытие папки, файла, приложения или ссылки, переключит с одного монитора на другой.

Доступная лишь корпоративным клиентам облачная Windows 365 получит аппаратное ускорение с поддержкой графических процессоров NVIDIA и AMD, что будет особенно полезно при работе с графическими и видеоредакторами, приложениями для 3D-моделирования, программным обеспечением для анализа и визуализации данных. Клиентам будут доступны варианты с объёмом видеопамяти от 4 до 16 Гбайт, а тип конкретного графического процессора можно будет узнать на вкладке «Производительность» диспетчера задач — Microsoft объясняет это неудобство динамическим распределением нагрузки.

Microsoft выполнила обещание, добавив в Windows 11 поддержку ИИ-ассистента Windows Copilot, а также других функций. Новая сборка Windows Insider Dev Channel (23493) включает как ранний доступ к ИИ-помощнику, так и поддержку архивов RAR и 7-Zip, а также новую страницу с настройками и улучшенный инструмент Volume Mixer для регулировки параметров звука.

Источник изображения: Microsoft

Microsoft впервые анонсировала Windows Copilot ранее в текущем году. Первым тестировщикам помощник доступен на правой боковой панели в Windows 11. В компании обещают, что панель не будет накладываться на рабочий контент и станет работать параллельно открытым приложениям, не мешая рабочему процессу, что позволит обращаться к ИИ за помощью в любое время. Windows Copilot на основе ИИ можно задавать вопросы, на которые обычно отвечает Bing Chat, он сможет выполнять даже некоторые системные команды.

Windows Copilot также можно использовать для составления аннотаций текстов — примерно так же, как и боковую панель Bing в Microsoft Edge, а также для генерирования изображений и текста. Судя по всему, параллельно будет демонстрироваться и релевантная реклама. Поскольку речь идёт о ранней версии, Windows Copilot не является полностью функциональным решением, поэтому может контролировать лишь немногие базовые настройки Windows, также пока отсутствует поддержка сторонних плагинов.

Появилась в Windows 11 и интегрированная поддержка файлов архивов RAR, 7-Zip, tar, gz и многих других типов. При этом в компании предупреждают, что пока не исключены проблемы с производительностью, которые будут устранены в следующих сборках Windows Insider. Как сообщила Microsoft на мероприятии Bild для разработчиков, всеобщая поддержка архивов в Windows 11 появится в сентябре. Кроме того, планируется обеспечить не только открытие, но и создание подобных файлов — но только в 2024 году.

Источник изображения: Microsoft

Ещё одной новой функцией является усовершенствованный интерфейс управления звуком в «быстрых настройках». Например, можно оптимизировать звук отдельно для каждого приложения, появилась возможность быстрой смены устройств, также появилась комбинация клавиш WIN + CTRL + V, позволяющая вызвать микшер, не копаясь в настройках.

Источник изображения: Microsoft

Ещё в Windows 11 появилась обновлённая страница параметров, теперь включающая краткую сводную информацию об используемых устройствах вместе с основными важными настройками. Страница будет включать до семи карточек с информацией, включая сведения о подписках Microsoft 365 или Xbox, отсюда же можно будет быстро управлять устройствами Bluetooth, быстро настроить обои и проверить ёмкость OneDrive. Это далеко не все функции нового варианта Windows — с полным перечнем могут ознакомиться первые тестировщики. Стоит отметить, что в России тот же Bing Chat в Edge без VPN не работает, поэтому не исключено, у пользователей Windows 11 в стране тоже могут возникнуть проблемы, даже после релиза стабильной версии.

Уже в июне компания Microsoft намерена представить ИИ-ассистента Windows Copilot для операционной системы Windows 11. Если Cortana, представленная годы назад для Windows 10, так и не смогла добиться массового признания пользователей, то новый ИИ имеет все шансы на успех. Высока вероятность, что новое решение станет общедоступно уже в осеннем обновлении, хотя в компании пока не называли точных сроков релиза.

Источник изображения: Microsoft

Сначала Microsoft внедрила ИИ в поисковик Bing, а позже интегрировала умные алгоритмы и в офисные приложения Microsoft 365 вроде Word, Excel, Teams и даже Edge. ИИ-ассистент для Windows станет лишь одним из очередных ИИ-продуктов, поскольку Microsoft имеет большие планы на повсеместное использование искусственного интеллекта.

Как заявили в Microsoft, с премьерой Windows Copilot операционная система Windows 11 станет первой ПК-платформой для централизации помощи ИИ пользователям. По данным компании, совместно с ИИ-ботом в Bing и фирменными, а также сторонними плагинами, пользователи смогут воплощать в жизнь свои идеи, выполняя с помощью ИИ сложные проекты, не отвлекаясь на переключение между многочисленными приложениями. Известно, что Microsoft уже добавила Bing с ИИ в Windows 11, но его функциональность ограничена — иконка в поиске Windows 11 представляет собой не более чем ссылку на Bing.com, при переходе по которой открывается браузер Microsoft Edge.

Тем временем Windows Copilot, похоже, будет служить полноценным ИИ-помощником. По данным Microsoft, он будет располагаться в боковой панели Windows 11 и станет доступен для вызова при работе в любых приложениях, вне зависимости от того, чем занимается пользователь — ищет вдохновение, строит планы, общается или творит. Примечательно, что помощник Cortana так и не смог стать чем-то большим, чем просто одним из многих приложений, хотя изначально предполагалось, что его функциональность будет довольно широкой.

Copilot в действии. Источник изображения: Microsoft

На Windows Copilot работы Microsoft в этой сфере не остановятся, маркетплейс Microsoft по задумке должен также получить поддержку ИИ. Например, алгоритмы искусственного интеллекта будут применяться на площадке в различных целях — от генерации ключевых слов для поиска приложений до составления резюме пользовательских отзывов.

Microsoft намерена поддерживать тесные связи с разработчиками ChatGPT. Известно, что OpenAI и Microsoft договорились об использовании в будущем общего для ChatGPT и Bing формата плагинов (которые в Bing пока отсутствуют), в том числе создаваемых сторонними разработчиками. Кроме того, Microsoft работает над плагинами для Microsoft 365 Copilot. Ожидается, что в ходе идущей конференции Build для разработчиков компания представит более 50 плагинов, включая Atlassian, Adobe, ServiceNow, Thomson Reuters, а на очереди — «ещё тысячи».