MWC 2018
2018
Computex
IFA 2018
Недавно устранённая уязвимость в версии ChatGPT для macOS компании OpenAI наглядно демонстрирует, насколько ценным для злоумышленников может быть взлом самого программного обеспечения на базе ИИ. Особенно, когда такие приложения получают всё более широкое распространение.
Источник изображения: Unsplash, Mariia Shalabaieva
Эту уязвимость можно было использовать для фактического захвата контроля над ChatGPT на компьютере жертвы. В этом случае злоумышленник мог получить доступ ко всей истории переписки и другим данным, хранящимся в приложении, а также к связанным ресурсам, таким как сеансы работы в браузере. Уязвимость, обнаруженная исследователями из фонда Objective-See Foundation, иллюстрирует глубокий уровень доступа к системе и высокий уровень доверия, которыми наделяются ИИ-платформы для выполнения своих функций. Этот случай одновременно показывает, какой привлекательной мишенью подобные платформы становятся из-за этого.
«Для выполнения своих задач таким агентам требуется обширный доступ. Они подобны управляющему зданием, у которого есть ключи от всех помещений. Поэтому, если их работу удаётся скомпрометировать или перехватить контроль над ними, это создаёт серьёзнейшие проблемы. Это может означать, что код с низкими привилегиями потенциально получит доступ ко всем защищённым ресурсам», — рассказал в разговоре с Wired Патрик Уордл (Patrick Wardle), аналитик программного обеспечения фонда Objective-See Foundation и эксперт, давно занимающийся исследованиями безопасности macOS.
Компания OpenAI публично признала наличие уязвимости и факт её устранения в журнале изменений системы 25 сентября. «Мы продолжаем совершенствовать наши методы обеспечения безопасности, но осознаем необходимость действовать быстрее», — заявил изданию Wired представитель OpenAI Шейн Бауэр (Shane Bauer).
Приложение ChatGPT для macOS состоит из множества компонентов, которые взаимодействуют друг с другом по защищённым каналам, проверяя цифровые подписи. Цель таких проверок — подтвердить, что оба взаимодействующих процесса являются компонентами OpenAI, а не сторонним и, возможно, вредоносным программным обеспечением, отправляющим запрос. Архитектура системы предусматривает проверку подписей на трёх уровнях вложенности относительно самого запроса. Это гарантирует, что вредоносная программа не сможет каким-либо образом заставить компонент OpenAI выступить в роли посредника и выполнить запрос, который будет выглядеть как доверенный.
Исследователи из Objective-See Foundation обнаружили наличие доверенного компонента — интерпретатора скриптов, — который принимал недоверенный скрипт (список команд для выполнения). Этим компонентом можно было манипулировать, чтобы внедрить такой скрипт в основной процесс ChatGPT. «Система также проверяет родительский и "прародительский" процессы, но вредоносный скрипт просто запускает интерпретатор трижды, а затем отправляет запрос, тем самым удовлетворяя всем требованиям проверки», — поясняет Уордл.
Источник изображения: Unsplash, Flipsnack
По его словам, эксплуатация этой уязвимости была «до смешного простой», а для создания прототипа, демонстрирующего проблему, потребовалось всего около дюжины строк кода. Помимо доступа к истории переписки в ChatGPT, уязвимость позволяла заставить чат-бот выполнять команды злоумышленника, например, запускать браузер или обращаться к другим критически важным приложениям. При этом запросы выглядели как легитимные инструкции, исходящие от самого программного обеспечения OpenAI.
В ноябре на конференции Objective by the Sea, посвящённой вопросам безопасности экосистемы Apple, Уордл представит результаты анализа ряда уязвимостей в приложениях для macOS, использующих технологии искусственного интеллекта. Недавно он обнаружил и сообщил об исправлении уязвимости в функции диктовки нового ИИ-помощника Muse от компании Meta✴. Ею мог воспользоваться локальный злоумышленник (имеющий прямой доступ к оборудованию жертвы), чтобы перехватить некорректно обрабатываемый токен аутентификации и получить доступ к данным пользователя. Также Уордл сообщил, что уже передал в OpenAI информацию о новой уязвимости, связанной с интеграцией ChatGPT и нового ИИ-помощника Dots, который работает в фоновом режиме постоянно. В настоящее время OpenAI изучает его отчёт.
«Сейчас компании, занимающиеся искусственным интеллектом, одержимы внедрением новых функций. Но, как это всегда бывает, чем больше функций, тем шире поверхность атаки. Поэтому всем этим компаниям необходимо уделять первостепенное внимание безопасности, однако, судя по всему, этот аспект зачастую отходит на второй план», — отметил Уордл.
Источник:
