MWC 2018
2018
Computex
IFA 2018
Microsoft представила новые функции безопасности, призванные защитить предприятия от угроз со стороны агентов искусственного интеллекта. Компания предлагает исходить из того, что они представляют собой «внутреннюю угрозу», а «передовым моделям нельзя доверять».
Источник изображения: Simon Ray / unsplash.com
Самым значимым нововведением стали «агенты-хранители» (Guardian Agents), осуществляющие мониторинг собственных ИИ-агентов компании. Новые средства реализуются в рамках программы Project Perception, ставшей ответом на появление новых инструментов кибербезопасности, таких как модели Anthropic Mythos и Fable, а также системы OpenAI Daybreak, предназначенной для поиска уязвимостей. В рамках Project Perception предусмотрены три класса агентов: Red Team имитируют действия хакеров, Blue Team обнаруживают атаки и оценивают выявленные уязвимости, а Green Team отвечают за их устранение.
Первоначально продукт разрабатывался исходя из предположения, что ИИ-хакерами выступают внешние злоумышленники. Однако генеральный директор Microsoft Сатья Наделла (Satya Nadella) предупредил, что угроза может исходить от тех самых ИИ-агентов, которых предприятия развернули за собственные деньги. Это своего рода недобросовестный сотрудник или «внутренняя угроза». Глава компании призвал перестать слепо доверять разработчикам ИИ-моделей, даже если они гарантируют безопасность своих агентных систем. Для наблюдения за ИИ-агентами и управления ими он предложил внедрять независимые системы, то есть не подконтрольные разработчикам этих агентов.
Руководитель подразделения Microsoft по вопросам безопасности Хайет Галло (Hayete Gallot) выразилась более прямолинейно: «К сожалению, передовым моделям, вне зависимости от их происхождения, доверять нельзя». Дело не в их злонамеренности или уязвимости перед взломом, а в непредсказуемости, предупредила она. Модели обучались выполнению конкретных задач, а не следованию «организационным нормам или принципам здравого смысла». Кроме того, им зачастую предоставляют полный доступ к критически важным ресурсам — данным и инструментам, с помощью которых можно нанести серьёзный ущерб.
Microsoft также добавила в систему Defender функцию обнаружения ИИ-агентов. Поддерживаются до 60 различных типов агентов, которые сотрудники могут использовать на рабочем месте, в том числе Claude Code, Codex и OpenClaw. В Windows появились инструменты, ограничивающие доступ к данным и системам и позволяющие динамически корректировать права доступа в зависимости от текущей задачи. Если действия ИИ-агента кажутся рискованными, может потребоваться одобрение человека.
Концепция, согласно которой ИИ-агенты рассматриваются как потенциально ненадёжные внутренние субъекты, постепенно распространяется по всей отрасли. Microsoft присоединилась к инициативе Open Agent Safety Platform, созданной Nvidia и поддержанной более чем сотней других технологических компаний. Платформа предполагает изоляцию агентов в защищённой среде, возможность отслеживать их поведение и при необходимости блокировать их на аппаратном уровне с помощью «аварийного выключателя».
Источник:
