Разработчики из Microsoft продолжают расширять возможности своего ИИ-помощника Copilot. На этот раз они запустили функцию Copilot Vision, которая позволяет делиться контентом из браузера или приложений с виртуальным помощником. Активация этой функции позволит Copilot обучаться выполнению действий в приложениях, а также анализировать фотографии и веб-контент, просматриваемый пользователем.

Источник изображения: Microsoft

«Когда вы решите включить эту функцию, Copilot Vision сможет видеть то, что видите вы, и говорить с вами об этом в режиме реального времени. Он выступает в роли второй пары глаз, способных анализировать контент, помогать, когда вы теряетесь, предоставлять информацию и отвечать на ваши вопросы по ходу дела», — говорится в сообщении разработчиков.

Напомним, Microsoft начала тестировать функцию Copilot Vision в Windows в начале этого года. Теперь она стала доступна бесплатно для пользователей Windows 11 и Windows 10 в США. Хотя Copilot Vision по-прежнему остаётся одной из экспериментальных функций, для взаимодействия с ней больше не требуется наличие подписки Copilot Pro. В дополнение к этому инструмент Copilot Vision доступен в приложении ИИ-помощника Microsoft для iOS и Android.

Для активации Copilot Vision предусмотрена иконка в виде очков, которая также позволяет выбрать, что именно должен анализировать алгоритм — контент в браузере или приложении. Чтобы функция начала работать, её необходимо включить вручную. Это не похоже на спорную функцию Recall, фиксирующую практически все действия пользователя в Windows.

Microsoft выпустила предварительную версию Copilot for Gaming для iOS и Android. Теперь участники тестирования могут получить доступ к ИИ-помощнику непосредственно внутри мобильного приложения Xbox. Copilot for Gaming покажет последние достижения Xbox, порекомендует игры с учётом предпочтений пользователя, даст советы по прохождению игр. Его также можно использовать для загрузки и установки игр. Голос помощника настраивается в соответствии с предпочтениями пользователя.

Источник изображений: Microsoft

«В этой ранней версии вы сможете получить доступ к Copilot for Gaming на втором экране, не отвлекаясь от основного игрового процесса, — пояснил главный менеджер программ в Xbox Тейлор О'Мэлли (Taylor O’Malley). — Компаньон знает, в какую игру вы играете, и понимает вашу активность на Xbox, поэтому он может ответить на любые вопросы об играх, которые вас интересуют, предоставить ссылки на дополнительную информацию, включая веб-источники, или ответить на вопросы на основе вашей учётной записи, истории игр и достижений».

В будущем Microsoft видит Copilot в роли игрового ИИ-тренера. Ранее в этом году компания продемонстрировала, как Copilot помогает игроку в Overwatch 2, разбирая ошибки, которые он совершил, пытаясь продвигаться без товарищей по команде. В Overwatch 2 ИИ-тренер готов помочь игроку с выбором героя, оптимально дополняющего команду. Copilot знает сильные и слабые стороны персонажей и способен рекомендовать идеальные сочетания умений в паре.

В Minecraft Copilot консультирует игроков о процессе создания предметов и необходимых для этого ингредиентах. Copilot считывает информацию с экрана игрока, поэтому он может в реальном времени обеспечить его необходимыми советами. К тому же, Copilot показал себя опытным читером, подсказывая, где найти те или иные материалы для крафта.

Уже сейчас подключиться к тестированию Copilot for Gaming могут пользователи мобильного приложения Xbox в США, Австралии, Новой Зеландии, Японии и Сингапуре. Похоже, что Великобритания и большая часть ЕС пока не задействованы в программе тестирования.

Microsoft начала добавлять интерфейс взаимодействия с помощником с искусственным интеллектом Copilot в каждую новую вкладку, которая открывается в браузере Edge. В большинстве веб-обозревателей новые вкладки открываются либо на заданной странице, либо показывают наборы виджетов — у Microsoft теперь новое видение этого механизма, обращает внимание ресурс PCWorld.

Источник изображений: pcworld.com

До конца мая у всех пользователей Edge появится поле отправки сообщения Copilot с набором предлагаемых запросов, говорится на странице поддержки Microsoft. Некоторым уже удалось познакомиться с нововведением — механизм получил название «Режим Copilot» (Copilot Mode); предусмотрен и специальный переключатель, который позволяет «опробовать последние инновации ИИ в области просмотра [сайтов]».

Опция включается в разделе настроек, который появляется при вводе «Edge://flags» в адресную строку — нужно включить опции «Edge Copilot Mode» и «Allow Copilot Search», после чего перезапустить браузер. Но и это ещё не всё: после перезапуска браузера «Режим Copilot» потребуется дополнительно включить в выпадающем меню, которое вызывается по щелчку на изображении профиля.

В каждой новой вкладке Edge появляется поле для ввода поискового запроса или запроса к Copilot, несколько вариантов вспомогательных запросов и значки с сайтами, которые пользователь недавно просматривал. Запросы отправляются на сервис Microsoft Copilot, где обрабатываются в традиционном формате, включая встроенную рекламу. Примечательно, что ответы на запросы выводятся без ссылок на сайты, если специально не попросить сервис об этом.

Пользователям, которые оставят режим Copilot активным, Microsoft, вероятно, будет первыми добавлять новые функции ИИ по мере их выпуска. В меню настроек Edge также появились несколько дополнительных опций. Например, функция «контекстные подсказки» (Context hints) открывает Edge с Copilot доступ к истории браузера: ответы чат-бота могут стать качественнее, но отчасти в ущерб конфиденциальности — и управлять этой функцией отдельно нельзя.

На заре различных инициатив по интеграции функций локального ускорения ИИ в персональные компьютеры многие эксперты и участники рынка с воодушевлением прогнозировали их быструю экспансию, но со временем пришло отрезвление. Глава Asus теперь ожидает, что таким ПК потребуется от года до двух, чтобы зарекомендовать себя и стать локомотивом продаж на рынке.

Источник изображения: Asustek Computer

В текущем году, как признался Самсон Ху (Samson Hu) в интервью Bloomberg, рост рынка ПК будет во многом сдерживаться неопределённостью ситуации с таможенными тарифами. Если в США они будут повышены, то Asus придётся поднять цены на свою продукцию на местном рынке на величину до 10 % для сохранения прибыльности бизнеса в регионе. Если изначально компания ожидала, что рынок ПК по итогам текущего года вырастет на 5 %, то теперь из-за ситуации с пошлинами прогноз урезан до одного или двух процентов, а в худшем случае объёмы продаж просто останутся на прошлогоднем уровне.

В сегменте AI PC, который сформировался ещё в прошлом году, складывается неоднозначная ситуация. Аппаратное обеспечение, позволяющее ускорять работу с искусственным интеллектом локальными ресурсами ПК, уже имеется, но подходящее программное обеспечение всё ещё не получило достаточного распространения, по мнению главы Asus. В результате, чтобы полностью воспользоваться всеми преимуществами данной платформы, может потребоваться ещё от года до двух. К тому времени на рынке появится достаточно программных решений, способных эффективно работать на ПК с функцией локального ускорения ИИ.

Microsoft представила новый рекламный ролик на YouTube с лозунгом «Мы быстрее, чем Mac», в котором компания утверждает, что флагманские компьютеры Windows категории Copilot+ PC превосходят предыдущую модель MacBook Air с чипом M3 на 58 % по результатам многопоточного теста Cinebench 2024.

Источник изображения: Microsoft

Хотя сравнение проводилось с устаревшей моделью MacBook Air, компания отмечает, что некоторые Copilot+ ПК также опережают даже новейшие модели MacBook Air с чипом M4 по тем же тестам. В тестировании участвовали такие устройства, как Lenovo Yoga Slim 7x с процессором Snapdragon X Elite, Microsoft Surface Laptop с тем же чипом и HP OmniBook Ultra 14 с AMD Ryzen AI 9 HX 375.

Однако, несмотря на то что некоторые ПК действительно демонстрируют лучшие результаты в определённых тестах, Apple утверждает, что чипы семейства M4 продолжают обеспечивать лидирующую в отрасли производительность, позволяя MacBook Air сочетать высокую вычислительную мощность, длительное время автономной работы и тонкий, лёгкий корпус без вентилятора.

Microsoft начала тестировать новую функцию голосового режима Copilot Voice, которая позволит пользователям Windows 11 начать диалог с помощником с искусственным интеллектом, произнеся команду: «Hey, Copilot!». Обновившие приложение участники программы Windows Insider уже могут опробовать эту возможность, включив её в настройках.

Источник изображения: blogs.windows.com

Голосовой запуск ИИ-ассистента уже не первый год работает у Apple Siri, Amazon Alexa, «Google Ассистента» (сейчас Gemini) — он был и у Microsoft Cortana, на смену которой пришёл Copilot. Это дополнение для Copilot окажется полезным тому, кому недостаточно новой выделенной клавиши для голосового помощника или сочетания традиционных, — оно появилось после запуска голосового режима Copilot Voice.

Новая функция включается в настройках приложения версии Copilot 1.25051.10.0 и выше. Соответствующее обновление в ближайшее время выйдет для всех участников программы Windows Insider, выбравших английский язык в качестве основного. После активации функции в нижней части экрана появляется виджет Copilot с микрофоном и уведомление о том, что он активен. В приложении используется локальная обработка данных на устройстве с 10-секундным буфером — аудиозаписи нигде не сохраняются и не отправляются в облако. Голосовой запуск срабатывает без подключения к интернету, но он потребуется для полноценной работы Copilot, который обращается к ИИ в облаке.

Microsoft объявила о внедрении ИИ-агента в приложение «Параметры» Windows 11. Агент сможет не только находить нужные настройки, но и автоматически изменять параметры ПК по голосовому или текстовому запросу пользователя, избавляя от необходимости искать нужные опции вручную.

Источник изображения: Unsplash

Как сообщает Windows Central, эта функция будет доступна только на компьютерах с поддержкой Copilot+ и сможет обрабатывать запросы на естественном языке. Пользователи смогут просто описать, что нужно найти или какой параметр изменить. Например, если сказать: «Как управлять ПК голосом» или «Как изменить указатель мыши», — система предложит соответствующее решение.

Источник изображения: Microsoft

Если пользователь даст разрешение, ИИ-агент сможет самостоятельно применять настройки, упрощая процесс для тех, кто не знает, где искать ту или иную опцию. При этом интерфейс приложения «Параметры» останется прежним, так что пользователи, предпочитающие ручную настройку, смогут продолжать пользоваться привычным меню.

Источник изображения: Microsoft

Новый ИИ-агент будет работать через поисковую строку в верхней части окна приложения. Достаточно ввести текст или продиктовать запрос — система покажет подходящие настройки и предложит применить их сразу, без необходимости перехода в дополнительные меню. Функция была анонсирована вместе с другими нововведениями Windows 11, включая обновлённое меню «Пуск» с настраиваемой панелью Phone Link.

Компания Microsoft представила два новых устройства серии Surface — 13-дюймовый ноутбук Surface Laptop и 12-дюймовый планшет Surface Pro. Обе новинки получили восьмиядерные процессоры Qualcomm Snapdragon X Plus. В продажу эти устройства экосистемы Copilot Plus PC поступят 20 мая. Поставки бизнес-версий новинок начнутся с 22 июля.

Источник изображений: Microsoft

Обе системы обладают очень похожими характеристиками. Они получили по 16 Гбайт оперативной памяти LPDDR5X и предлагают SSD объёмом 256 или 512 Гбайт. В составе их процессоров присутствует нейродвижок (NPU) с производительностью 45 TOPS.

Планшет Surface Pro оснащён 12-дюймовым сенсорным экраном PixelSense с поддержкой разрешения 2196 × 1464 пикселей и частоты обновления до 90 Гц. В оснащение входят фронтальная 10-Мп камера с поддержкой системы авторизации Windows Hello, а также дополнительная веб-камера с поддержкой разрешения 1080p. Новинка поддерживает Wi-Fi 7 и Bluetooth 5.4.

Размеры устройства составляют 274 × 190 × 7,8 мм, вес равен 686 граммам без клавиатуры, которая в комплект не входит. Планшет не оснащён проприетарным коннектором Surface Connect, а вместо него получил разъём USB Type-C для зарядки. Само зарядное устройство в комплект не входит. Его нужно приобретать отдельно, мощностью не менее 45 Вт (60 Вт для поддержки быстрой зарядки). У планшета также есть второй порт USB Type-C 3.2.

Стоимость 12-дюймового Surface Pro в базовой конфигурации (с 256 Гбайт SSD) составляет $799. За версию с 512 Гбайт SSD придётся выложить $899. Клавиатуру-чехол можно приобрести отдельно за $149, как и электронное перо Surface Slim стоимостью $129. Surface Pro будет доступен в трёх цветах: платиновом, фиолетовом, а также тёмно-сине-зелёном, который Microsoft называет «океан».

Новый ноутбук Surface Laptop предлагает 13-дюймовый сенсорный дисплей PixelSense с разрешением 1920 × 1080 пикселей и частотой обновления 60 Гц. Он оснащён веб-камерой с поддержкой разрешения 1080p, поддерживает Wi-Fi 7 и Bluetooth 5.4, получил пару разъёмов USB-C 3.2, один USB-A 3.1, а также 3,5-мм аудиовыход. В комплект поставки Surface Laptop входит блок питания USB-C мощностью 45 Вт. В кнопку питания ноутбука встроен сканер отпечатков пальцев.

Microsoft заявляет, что новый Surface Laptop на базе восьмиядерного Qualcomm Snapdragon X Plus «на 50 % быстрее Surface Laptop 5 и даже превосходит по производительности MacBook Air M3». При этом следует отметить, что Surface Laptop 5 был выпущен в 2022 году на базе процессоров Intel Core 12-гопоколения, а MacBook Air в свою очередь получил уже более производительный чип M4. В отличие от 12-дюймового планшета Surface Pro, оснащённого пассивной системой охлаждения, в Surface Laptop используется система охлаждения, в состав которой входит вентилятор.

Ноутбук собран в корпусе из анодированного алюминия и тоже будет предлагаться в фиолетовом, платиновом и тёмно-сине-зелёном цветах. Размеры устройства составляют 285,65 × 214,14 × 15,6 мм, вес равен 1,22 кг. Стоимость Surface Laptop с твердотельным накопителем объёмом 256 Гбайт составляет $899. За версию с SSD на 512 Гбайт придётся отдать $999.

Вместе с анонсом новых устройств Surface компания Microsoft также объявила о новом наборе функций Copilot+, которые станут доступны для участников программы Windows Insider в ближайший месяц. Сюда входят функция поиска в Windows на естественном языке, функция скриншотов Snipping Tool с удобной обрезкой изображений, генератор стикеров в Paint для графиков и документов, а также обновления функции Narrator для описания изображений. Новая функция Relight для редактирования фотографий поможет изменить настройки света на изображениях. Она станет доступна сначала на ПК с процессорами Snapdragon X, а позже появится и на системах с процессорами AMD и Intel.

Дополнительно компания переработает дизайн Start Menu, добавив сайдбар с отображением недавней активности на подключённом к системе смартфоне, а также расширит ИИ-функции «Проводника».

Компания Microsoft на следующей неделе расскажет о новых продуктах Surface. Об этом она сообщила через свою страницу Surface в социальной сети X, опубликовав изображение с датой 6 мая 2025 года и подписью «Copilot+PC». Какие именно новинки будут представлены — пока неизвестно.

Источник изображения: X / Microsoft Surface

В марте в базе данных китайского регулятора, сертифицирующего новые продукты, были обнаружены упоминания двух устройств Microsoft с модельными номерами 2109 и 2110. Предполагается, что они могут представлять собой более компактные варианты ноутбука Surface Laptop и гибридного лэптопа Surface Pro.

Актуальная модель гибридного ноутбука Surface Pro оснащена 13-дюймовым экраном. Ходят слухи, что компания готовит к выпуску 12-дюймовую версию в металлическом корпусе с дизайном, схожим с планшетом Surface Go. Сообщается, что это устройство появилось в базе данных теста Geekbench с процессором Snapdragon X (X1P-42-100), 16 Гбайт оперативной памяти и ОС Windows 11 Pro.

Также имеются сведения о третьем ноутбуке с модельным номером 2095, который, как ожидается, станет преемником текущей модели Surface Laptop Go.

Спустя почти год после первого анонса компания Microsoft начала массовое развёртывание спорной функции Recall на компьютерах Copilot Plus PC. Функция является частью обновления для Windows 11, которое также включает предварительный просмотр ранее анонсированных функций Click to Do и обновлённого поиска Windows на базе ИИ.

Источник изображений: Microsoft

Microsoft сообщает, что апрельское обновление для Windows, не связанное с безопасностью, будет развёртываться постепенно. Те, кто хочет быть в числе первых, кто получит новые функции, могут в настройках «Центра обновления Windows» включить опцию «Получайте последние обновления, как только они будут доступны». После этого проверка обновлений должна позволить установить апрельский предварительный выпуск. И Recall, и Click to Do представлены как «предварительные возможности». Иными словами, их статус аналогичен открытой бета-версии Apple Intelligence для компьютеров Mac или «экспериментальным функциям», доступным для некоторых моделей ИИ Google Gemini.

В рамках обновления наибольшее внимание привлекает функция Recall. Она разработана для того, чтобы пользователь имел быстрый доступ к информации, с которой он работал ранее. Функция с определённым интервалом делает снимки экрана и активностей пользователя на ПК, сохраняет их на локальном носителе (то есть на компьютере пользователя, а не в облаке) и использует эти данные для последующего поиска.

Устанавливать Recall необязательно — Microsoft сделала её полностью опциональной. Перед использованием функцию необходимо включить и настроить. Если этого не сделать, Recall не будет выполнять снимки экрана. Кроме того, Recall можно удалить со своего устройства через панель «Включение или отключение компонентов Windows» (найти её можно через поиск на панели задач).

«При удалении любой функции Windows может сохранять временные копии неисполняемых двоичных файлов функции, которые со временем удаляются», — написал в блоге компании вице-президент Microsoft по Windows Experiences Навджот Вирк (Navjot Virk).

Recall вызвала жаркие споры среди пользователей с момента её первоначального анонса вместе с первыми ПК экосистемы Copilot Plus PC в мае 2024 года. Изначально она должна была стать частью Windows 11 уже в июне того же года, с началом продаж первых компьютеров Copilot Plus PC. Однако Microsoft несколько раз откладывала её выпуск после призывов экспертов по цифровой безопасности, утверждавших, что Recall может представлять риск для конфиденциальности данных пользователей. Как пишет Tom’s Hardware, знакомство с Recall в составе предварительных сборок ОС в рамках программы предварительной оценки обновлений Windows Insider показало, что функция сохраняет определённую конфиденциальную информацию, даже несмотря на наличие фильтров, предназначенных для предотвращения этого.

С тех пор Microsoft усилила систему безопасности Recall, добавив шифрование снимков с помощью модуля Trusted Platform Module (TPM) ПК и авторизацию через Windows Hello для изменения настроек. Также появилась возможность добавлять в фильтры определённые приложения и веб-сайты, настраивать срок хранения снимков в Recall, а также удалять снимки, связанные с отдельными приложениями, веб-сайтами или временными диапазонами.

Функция Click to Do, выпущенная в качестве предварительной версии для участников программы Windows Insider прошлой осенью вместе с обновлением Windows 11 24H2, активируется комбинацией клавиш Windows + левая кнопка мыши (или свайпом вправо на сенсорном устройстве). Она открывает контекстное меню для соответствующих действий с использованием ИИ. Например, выделение текста и активация функции может предложить его резюмирование, а выбор изображения — возможность его редактирования или удаления. Действия с изображениями через Click to Do становятся доступны для всех ПК Copilot Plus PC с сегодняшнего дня. Функции работы с текстовыми файлами пока доступны только для устройств на базе процессоров Qualcomm Snapdragon. Поддержка систем с процессорами AMD Ryzen и Intel Core Ultra появится «в ближайшие месяцы», сообщает Microsoft.

Времена, когда нужно было запоминать каждое имя того или иного файла, прошли. Улучшенный поиск Windows на ПК Copilot Plus PC теперь позволяет использовать естественный язык для описания того, что необходимо найти. Например, если вам нужен снимок «коричневой собаки», который вы сохранили где-то на своём компьютере, но не можете найти, — в поиске можно просто написать: «коричневая собака». Новая функция поиска будет встроена в существующее поле поиска Windows, а также в «Настройки» и «Проводник». Microsoft заявляет, что функция работает локально и требует наличия в составе Copilot Plus PC нейропроцессора (NPU) с производительностью от 40 TOPS и выше.

Функция Copilot Vision, которая позволяет фирменному ИИ-помощнику Microsoft просматривать и понимать происходящее на экране пользовательского устройства, теперь доступна для бесплатного использования в браузере Edge. Об этом сообщил глава подразделения Microsoft AI Мустафа Сулейман (Mustafa Suleyman).

Источник изображения: Microsoft

Он также рассказал, что функция Copilot Vision позволяет ИИ-алгоритму буквально видеть то, что видит пользователь на экране. Это нововведение может пригодится в разных ситуациях, например, Copilot может подсказывать выведенный на экран рецепт приготовления какого-то блюда. При этом он не будет самостоятельно переходить по ссылкам или выполнять какие-то действия от имени пользователя.

Более продвинутые общесистемные функции Copilot Vision останутся доступными только платным подписчикам Copilot Pro. С этой подпиской Copilot Vision выходит за пределы Edge и может помогать при взаимодействии с другими приложениями. Например, ИИ-помощник подскажет, как использовать ту или иную функцию Photoshop, расскажет, как пройти трудное место в игре, и др.

Для начала использования Copilot Vision в браузере необходимо с помощью Edge открыть соответствующий раздел на сайте Microsoft и подтвердить своё согласие на использование ИИ-функции. После этого будет достаточно открыть боковую панель Copilot и нажать на ярлык с изображением микрофона. Начало работы функции Copilot Vision будет сопровождаться характерным звуковым сигналом, а в браузере также немного изменится цветовое оформление. Согласно имеющимся данным, Microsoft регистрирует ответы Copilot, но не собирает пользовательскую информацию, изображения или содержание страниц во время взаимодействия с Copilot Vision. Для отключения функции достаточно закрыть окно браузера.

Старший редактор The Verge Том Уоррен (Tom Warren) со ссылкой на свои источники сообщает, что Microsoft приступила к тестированию среди сотрудников ранней версии анонсированного в марте игрового ИИ-помощника Copilot for Gaming.

Источник изображения: Steam (steppingonlegos)

По данным информаторов Уоррена, работники Microsoft получили доступ к Copilot в мобильном приложении Xbox — эта версия чат-бота напоминает существующую, но предназначена для интеграции с учётной записью Xbox.

Сейчас Copilot for Gaming включает возможность «подтянуть» последние достижения, получить рекомендации игр на основе своей истории и советы по прохождению. Чат-бота также можно использовать для загрузки/установки игр на консоль Xbox.

Как и в случае с существующей версией Copilot, пользователь может напечатать свой запрос чат-боту или озвучить вопрос. Среди доступных голосов ассистента фигурируют энергичный, мудрый, спокойный и мужественный.

Экран настройки Copilot for Gaming (источник изображения: The Verge)

В будущем Microsoft планирует добавить в игровой Copilot анимированные версии персонажей для помощника и функцию Copilot Vision, которая позволит ИИ «видеть» экран пользователя и помогать ему в ходе геймплея.

Стартовая версия Copilot for Gaming станет доступна участникам программы Xbox Insider уже совсем скоро (обещали в апреле). Microsoft собирается активно дорабатывать ИИ-помощника на основе пользовательских отзывов.

Согласно мартовскому анонсу, в конечном итоге Copilot for Gaming будет доступен на разных устройствах, включая консоли Xbox, в качестве ассистента и компаньона, который сможет давать советы по играм, их загрузке, запуску и многому другому.

Microsoft добавила в Copilot Studio новую функцию «Использовать компьютер» — она позволяет агентам искусственного интеллекта взаимодействовать с веб-сайтами и настольными приложениями. Copilot Studio, как ранее OpenAI Operator и аналогичная функция Anthropic Claude, может использовать сайты и локальное ПО как средства для автоматизации рабочих задач.

Источник изображений: microsoft.com

«Использование компьютера позволяет агентам взаимодействовать с сайтами и настольными приложениями, нажимая кнопки, выбирая [пункты] меню и вводя текст в экранные поля. Агенты выполняют задачи, даже когда нет API для прямого подключения к системе. Если приложение может использовать человек, то может и агент», — рассказали о новой функции в Microsoft.

В Copilot Studio можно создавать агентов ИИ, способных автоматизировать ввод данных, проводить маркетинговые исследования или обрабатывать бухгалтерские документы. ИИ, уверяют в Microsoft, обучен обнаруживать, когда расположение кнопок в приложениях или на сайтах меняется, и продолжает работать без сбоев.

Ранее похожую функцию Actions компания Microsoft добавила в потребительскую версию Copilot — действия выполняются в фоновом режиме, когда человек занят другими задачами. Copilot может бронировать столки в ресторане, покупать билеты на мероприятия и товары в интернет-магазинах. При этом возможности Actions ограничены установленными партнёрами Microsoft, а Copilot Studio предлагает бесплатную работу с бо́льшим числом сайтов и приложений.

Microsoft начала тестировать очередное обновление приложения Copilot для Windows, которое позволит транслировать изображение экрана компьютера и интерфейс запущенных на нём приложений помощнику с искусственным интеллектом. Первоначально функция Copilot Vision ограничивалась браузером Edge, но теперь она распространяется на любое приложение на ПК.

Источник изображения: blogs.windows.com

Copilot Vision способен помочь разобраться в том, как работает Adobe Photoshop, проанализировать фотографии или веб-страницы, которые открывает пользователь. На мероприятии, посвящённом 50-летию Microsoft, компания показала, как ассистент помогает играть в Minecraft и оптимизировать настройки в видеоредакторе Clipchamp. Протестировать предварительную версию Copilot Vision могут только участники программы Windows Insider из США.

Copilot может подсвечивать определённые участки экрана, чтобы помочь пользователю сориентироваться в интерфейсе той или иной программы. На практике это похоже отчасти на функцию Recall, которая автоматически делает снимки экрана и позволяет производить по ним поиск, и отчасти — на трансляцию экрана через Microsoft Teams. В Copilot для Windows также стартовало тестирование ИИ-поиска файлов — он позволяет задавать помощнику вопросы об их содержимом; поддерживаются форматы .DOCX, .XLSX, .PPTX, .TXT, .PDF и .JSON. Обе эти функции доступны для всех ПК с Copilot для Windows, а не только Copilot Plus PC.

Функция Copilot Vision также доступна в приложениях для iOS и Android. На ПК функция пока тестируется в рамках программы Windows Insider, но в ближайшие недели или месяцы она может стать общедоступной.

В честь своего 50-летия Microsoft добавила ИИ-помощнику Copilot целый ряд новых функций, в результате чего он стал больше походить на конкурентов, таких как ChatGPT или Claude. ИИ-помощник Copilot получил возможности запоминания информации, персонализации, выполнения действий в интернете, создания подкастов, анализа изображений с камеры и экрана, проведения глубоких исследований и многое другое.

Источник изображения: Steve Johnson/unsplash.com

Copilot теперь может «запоминать» предпочтения пользователя, его интересы и данные, например день рождения, и использовать эту информацию в ответах, советах или для упреждающих предложений. Microsoft сообщила, что пользователи смогут выбирать, какую информацию Copilot должен запоминать, или полностью отказаться от этой возможности.

Обновления говорят о стремлении Microsoft сделать Copilot более персонализированным. Компания заявила, что находится на ранней стадии реализации этой концепции, но «в скором времени» пользователи смогут придать Copilot персонализированный вид и даже вернуть виртуального помощника-скрепку Clippy. Как сообщил генеральный директор Microsoft AI Мустафа Сулейман (Mustafa Suleyman), пользователи смогут настраивать ИИ-помощника в соответствии со своим стилем и предпочтениями.

Помимо поддержки персонализации расширилась функциональность Copilot. Новая функция Actions обеспечила ему возможность выполнять задачи с помощью веб-браузера, аналогично ИИ-агенту Operator от OpenAI или недавно анонсированному Nova Act от Amazon. Microsoft предполагает, что с её помощью можно будет бронировать билеты на развлекательные мероприятия, резервировать столик в ресторане и совершать покупки, особенно в сочетании с новой функциональностью для покупок, которая позволяет Copilot искать скидки и распродажи.

Функция Copilot Vision для просмотра ИИ изображения с экрана или камеры теперь доступна для компьютеров на Windows и устройств на iOS и Android. В свою очередь, ИИ-инструмент Deep Research позволяет Copilot анализировать большое количество документов или онлайн-источников для сложных проектов, а его исследовательские возможности интегрированы с Bing, чтобы можно было получить ответ с использованием ИИ внутри поисковой системы.