Microsoft начала тестировать Copilot Vision — ИИ «увидит» экран и приложения на компьютере

Microsoft начала тестировать очередное обновление приложения Copilot для Windows, которое позволит транслировать изображение экрана компьютера и интерфейс запущенных на нём приложений помощнику с искусственным интеллектом. Первоначально функция Copilot Vision ограничивалась браузером Edge, но теперь она распространяется на любое приложение на ПК.

Источник изображения: blogs.windows.com

Copilot Vision способен помочь разобраться в том, как работает Adobe Photoshop, проанализировать фотографии или веб-страницы, которые открывает пользователь. На мероприятии, посвящённом 50-летию Microsoft, компания показала, как ассистент помогает играть в Minecraft и оптимизировать настройки в видеоредакторе Clipchamp. Протестировать предварительную версию Copilot Vision могут только участники программы Windows Insider из США.

Copilot может подсвечивать определённые участки экрана, чтобы помочь пользователю сориентироваться в интерфейсе той или иной программы. На практике это похоже отчасти на функцию Recall, которая автоматически делает снимки экрана и позволяет производить по ним поиск, и отчасти — на трансляцию экрана через Microsoft Teams. В Copilot для Windows также стартовало тестирование ИИ-поиска файлов — он позволяет задавать помощнику вопросы об их содержимом; поддерживаются форматы .DOCX, .XLSX, .PPTX, .TXT, .PDF и .JSON. Обе эти функции доступны для всех ПК с Copilot для Windows, а не только Copilot Plus PC.

Функция Copilot Vision также доступна в приложениях для iOS и Android. На ПК функция пока тестируется в рамках программы Windows Insider, но в ближайшие недели или месяцы она может стать общедоступной.