MWC 2018
2018
Computex
IFA 2018
Последнее время руководство Microsoft неоднократно заявляло, что в будущем в Windows 11 появится больше ИИ-агентов для выполнения разных задач. Однако во внутренней документации компании указано, что такие алгоритмы могут галлюцинировать, действовать непредсказуемо, а также становиться инструментом в новых хакерских атаках. Несмотря на всё это, софтверный гигант продолжает продвигать функции на основе ИИ-агентов в Windows 11.
Источник изображений: Windows Latest
Если Microsoft считает ИИ-агентов настолько рискованными, что им требуются отдельные учётные записи, изолированные сеансы и журналы аудита для защиты от несанкционированного доступа, то объяснить, почему именно Windows 11 становится полигоном для испытания этой технологии, весьма непросто. Важно и то, что это происходит на фоне того, что пользователи ОС всё больше устают от повсеместного внедрения функций на базе ИИ.
В середине октября Microsoft заявила о том, что каждый компьютер с Windows 11 в конечном счёте превратится в ПК с искусственным интеллектом. Компания анонсировала сразу несколько ИИ-интеграций, которые должны позволить «общаться» с ПК, показывать ИИ содержимое экрана, а также поручать действовать от своего имени. По сути, Microsoft хочет, чтобы пользователи заменили нажатия клавиш и клики мыши естественным языком. На первом этапе это реализуется за счёт внедрения функций Copilot Voice и Copilot Vision, а также агентской части Copilot Actions.
Последние изменения в ОС делают панель задач Windows 11 своеобразным центром ИИ-подсистемы. Поле поиска заменяется интерфейсом Ask Copilot, который позволяет запускать ИИ-агентов или помощника Copilot одним щелчком мыши или текстовой командой. После активации агенты будут выполнять задачи в фоновом режиме, а пользователь может отслеживать процесс прямо на панели задач, как если бы это были обычные приложения. Даже если сейчас ИИ-агенты доступны опционально и их функциональность сильно ограничена, «дорожная карта» Microsoft ясно даёт понять — агентские вычисления являются следующим ключевым этапом развития Windows.
Положительным является то, что Microsoft не пытается представить эти нововведения, как что-то совершенно безопасное. В официальной документации компании говорится, что ИИ-агенты «имеют функциональные ограничения в плане своего поведения, иногда могут галлюцинировать и выдавать непредсказуемые результаты».
В дополнение к этому ИИ-агенты уязвимы к атакам межпрограммного внедрения промптов (XPIA), а также к вредоносным промптам и вредоносному ПО. Один из самых главных рисков, которые видит Microsoft, заключается в атаках XPIA, когда злоумышленник скрывает вредоносные инструкции в элементах пользовательского интерфейса, документах или приложениях, с которыми агент взаимодействует. Такой подход может позволить переориентировать исходные инструкции агента и заставить его выполнять вредоносные действия, такие как копирование конфиденциальных данных.
Исследователи в сфере информационной безопасности уже предупреждали, что ИИ-агенты, работающие через графический интерфейс, уязвимы к такого рода атакам. Причина этого в том, что агенты для выполнения поставленных задач получают высокий уровень привилегий на устройстве. Microsoft это понимает, но не отказывается от идеи дальнейшего внедрения ИИ-агентов. Очевидно, что пользователи, которые считали скандальную функцию Recall кошмаром для конфиденциальности, будут не рады ИИ-агентам, поскольку они представляют существенно большую опасность.
Microsoft настаивает, что агенты работают под отдельными учётными записями, имеют ограниченные разрешения и защищены от внесения несанкционированных изменений в инструкции. Вместе с этим компания предоставляет агентам права на чтение и запись в личных папках пользователя, таких как «Документы», «Загрузки», «Изображения», «Видео» и др.
«<…> вредоносный контент, встроенный в элементы пользовательского интерфейса или документы, может переопределить инструкции агента, что приведёт к совершению непреднамеренных действий, включая извлечение данных и установку вредоносного ПО <…> Мы рекомендуем вам ознакомиться с этой информацией и понять последствия для безопасности, связанные с активацией агента на вашем компьютере», — предупреждала Microsoft.
Если Microsoft хочет, чтобы ИИ-агенты взаимодействовали с приложениями и файлами как реальные пользователи, ей необходимо каким-то образом избежать коллапса системы под собственной тяжестью. Для этого разработчики создали пространство Agent Workspace, являющееся основой «агентской ОС». Всё, что обещала компания, включая ИИ-алгоритмы, способные взаимодействовать с приложениями, редактировать файлы, перемещать файлы и выполнять многоэтапные задачи, работает только потому, что Windows 11 может создавать изолированные сеансы для работы агентов. Это не похоже на виртуальную машину, поскольку Agent Workspace является параллельной средой Windows со своей собственной учетной записью, рабочим столом, деревом процессов и ограниченными разрешениями.
Предоставление отдельного рабочего пространства для ИИ-агентов — это первая попытка Microsoft дать им «место для существования» внутри Windows, при этом не позволяя находиться внутри пользовательского сеанса. Каждый агент получает отдельную учетную запись на ПК, а Windows держит такие УЗ под контролем, позволяя выполнять только те действия, на которые было получено явное разрешение пользователя. Такие ограничения стали своеобразным ответом Microsoft на те опасения, о которых компания сама же предупреждала.
Внутри изолированного пространства ИИ-агент взаимодействует с приложениями так же, как пользователь. Он может нажимать кнопки в интерфейсе, вводить текст в поля, прокручивать страницы, перемещать файлы и др. ИИ отвечает за логику, стоящую за этими действиями. Функция Copilot Actions уже использует эту модель. Вместо того чтобы обращаться к облачной ИИ-модели, например для генерации текста, агент самостоятельно выполняет шаги, используя установленное на ПК программное обеспечение.
Именно поэтому Microsoft выделяет для этого отдельные сеансы. Если ИИ-агент неверно истолкует промпт или вредоносные инструкции будут содержаться внутри какого-либо объекта, с которым он взаимодействует, ущерб, технически, будет ограничен пространством, которое контролирует Windows и внутри которого каждое действие записывается в журнал. Это также должно помешать агентам проникать в системные каталоги, хранилища учётных данных и папки приложений, где непреднамеренное чтение или запись может нарушить работоспособность продукта.
Для начала взаимодействия с ИИ-агентом необходимо активировать экспериментальные функции Experimental Agentic Features, которые по умолчанию отключены. «Эта функция сама по себе не обладает возможностями ИИ, это функция безопасности для агентов, таких как Copilot Actions. Включение этой опции позволяет создать отдельную учетную запись агента и рабочее пространство на устройстве, предоставляя изолированную среду для отделения активности агента от пользовательской», — говорится в описании Microsoft.
Для контроля доступов Microsoft использует Model Context Protocol, который позиционируется как мост между агентами и приложениями. Именно таким образом агенты взаимодействуют с инструментами в системе. MCP позволяет ИИ-агенту обнаруживать инструменты, вызывать функции, читать метаданные файлов и взаимодействовать со службами. Это предотвращает возможность прямого доступа и даёт Windows центральную точку контроля, в которой происходит аутентификация, предоставление разрешений на использование инструментов и др. Без MCP ИИ-агент был бы «слеп», а рабочее пространство Workspace удерживает его в безопасных пределах.
Microsoft даже не рассматривает вариант отступления от внедрения ИИ в Windows. Компания хочет, чтобы взаимодействие пользователей с ИИ было максимально естественным. Упомянутая ранее функция Recall стала наглядным примером того, как не следует запускать ИИ-продукт в десктопной ОС. Негативная реакция пользователей была настолько ощутимой, что Microsoft была вынуждена отложить запуск этой функции, фиксирующей все действия пользователя в системе, переработать её и сделать опциональной.
Тем не менее вполне очевидно, что Microsoft сделала свой выбор. Он заключается в том, чтобы перестроить Windows 11 и интегрировать в неё агентов, способных выполнять разные задачи. Компания достаточно смела, чтобы признать риски, и достаточно уверена, чтобы продолжать двигаться вперёд. Не исключено, что появление агентских ОС в принципе неизбежно. Каждая крупная ИИ-компания движется к будущему, в котором ИИ делает нечто большее, чем просто общается с пользователями.
Источник:
