Сегодня 13 июня 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Появился сетевой червь, работающий через сервисы ИИ — он размножается, рассылает спам и похищает данные

Международная группа исследователей в области кибербезопасности разработала червя, способного самостоятельно распространяться между сервисами генеративного искусственного интеллекта, похищать данные и рассылать спам по электронной почте.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

По мере развития систем генеративного ИИ, таких как OpenAI ChatGPT и Google Gemini, они всё чаще используются для решения конкретных задач, например, создания событий в календарях или заказа продуктов. Исследователи технологий кибербезопасности, однако, решили продемонстрировать, что подобные системы могут нести угрозу — они создали новый вид атак, которого прежде не существовало в принципе. Учёные разработали червя, получившего название Morris II в честь первого компьютерного червя Morris, который в 1988 году заразил 6200 компьютеров — 10 % всех компьютеров, на тот момент подключённых к интернету. Morris II через электронную почту разворачивает атаку на виртуальных помощников, основанных на генеративном ИИ, производит кражу данных из электронных писем и рассылает спам, минуя средства защиты ChatGPT и Gemini.

Авторы исследования испытали новую модель атаки в изолированных средах — она оказалась возможной из-за мультимодального характера больших языковых моделей, то есть их способности работать с текстом, изображениями и видео. Атакующие генеративный ИИ черви ещё не были обнаружены на практике, но исследователи предупреждают, что эту угрозу следует принимать в расчёт и одиночным разработчикам, и стартапам, и технологическим компаниям.

Большинство систем генеративного ИИ работает, получая текстовые команды — просьбы ответить на вопрос или создать изображение. Эти команды можно использовать против системы, заставив её проигнорировать меры безопасности и выдать недопустимый контент; ей можно дать неявные инструкции, например, предложив ей адрес вредоносной страницы со скрытым текстом таких команд. Принцип работы атакующего генеративный ИИ червя состоит в механизме «состязательной самовоспроизводящейся команды» (adversarial self-replicating prompt). Такая команда заставляет модель генеративного ИИ выдавать в ответе ещё одну команду. Это во многом напоминает традиционные схемы атак вроде SQL-инъекций и переполнения буфера.

Чтобы продемонстрировать работу червя, исследователи создали службу электронной почты, способную получать и отправлять сообщения с помощью генеративного ИИ — для этого она подключается к ChatGPT, Gemini и открытой модели LlaVA. Затем они применили два способа эксплуатации уязвимости ИИ: при помощи самовоспроизводящейся текстовой инструкции и аналогичной инструкции, встроенной в файл изображения.

Осуществляя тестовую атаку, исследователи подготовили электронное письмо с вредоносной командой на генерацию ответа с использованием поиска в интернете, при котором большая языковая модель обращается за дополнительной информацией в Сеть. Получив такое письмо, служба для генерации ответа направляет запрос в GPT-4 или Gemini Pro — этот запрос производит «взлом генеративного ИИ» и осуществляет кражу данных из электронных писем. Ответ ИИ, содержащий конфиденциальные данные пользователя, далее сам при ответе на электронное письмо заражает новые хосты и сохраняется в базе нового клиента. Во втором примере такой командой стал файл изображения: заложив в файл картинки команду на самовоспроизводство, можно одной отправкой электронного письма спровоцировать дальнейшую массовую рассылку изображения любого содержания, включая оскорбительные или экстремистские материалы. Исследователи утверждают, что таким способом можно извлекать данные электронных писем, в том числе номера телефонов, кредитных карт, номеров социального страхования — любую конфиденциальную информацию.

Авторы исследования отмечают, что эти методы атак оказались возможными из-за ошибок при проектировании архитектуры в экосистеме ИИ. Они поделились своим открытием с Google и OpenAI — в OpenAI подтвердили наличие угрозы, но добавили, что компания работает над повышением устойчивости своих систем, а в Google от комментариев отказались. Чтобы защититься от подобных атак, эксперты предлагают не только повысить надёжность систем, но и изменить модель их эксплуатации: пользователям не следует предоставлять ИИ привилегий, таких как возможность отправки электронной почты от их имени — все действия система должна согласовывать с человеком. Кроме того, многократное повторение одной и той же команды ИИ в системе вызовет подозрение у защитных механизмов. Тем не менее, исследователи считают, что атакующие генеративный ИИ черви начнут работать в ближайшие два или три года.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Sony PlayStation 5 наконец получит полноценную поддержку Discord 28 мин.
Представлен ИИ-генератор чрезвычайно реалистичных видео Luma Dream Machine — попробовать можно бесплатно 2 ч.
Система MaxPatrol VM дополнилась средствами поиска уязвимостей в Docker-контейнерах и анализа защищённости веб-приложений 3 ч.
OS Day 2024: архитектура операционных систем и вопрос безопасности ПО 3 ч.
«Сидел с широко открытым от изумления ртом»: игроков заворожили 10 минут геймплея за ведьму в Path of Exile 2 4 ч.
США запретили поставку ПО для ИТ-сектора РФ без лицензии Минторга США 5 ч.
Новые американские IT-санкции не повлияют на обычных россиян 5 ч.
Сперва PvP: создатель Terraria готов вернуть деньги за игру любому «без лишних вопросов», но при одном условии 5 ч.
Meta вновь обвинили в незаконном сборе данных пользователей для обучения ИИ — теперь в Норвегии 6 ч.
Steam обвинили в завышении цен для 14 миллионов британских геймеров — у Valve хотят отсудить $840 млн 6 ч.
Samsung представила свои самые доступные смарт-часы Galaxy Watch FE 2 мин.
Глобальная выручка от продаж памяти DRAM выросла в I квартале на 5,1 %, вопреки сезонности 59 мин.
Выручка основных контрактных производителей чипов показала сезонный спад, но некоторые не поддались тренду 2 ч.
Вышел неубиваемый смартфон 8849 Unihertz TANK 2 Pro с гигантской батареей, проектором и камерой ночного видения 2 ч.
Honda представила компактный электромобиль N-VAN e: за $15 550 2 ч.
Oppo представила сверхпрочный смартфон F27 Pro+, который выглядит как обычный смартфон 2 ч.
Дальше лучше как-нибудь сами: дата-центрам в ЮАР предложили заняться самостоятельной добычей энергии для своих нужд 3 ч.
Hisense представила лазерные телевизоры Starlight S1 Pro со складными экранами диагональю до 100 дюймов 3 ч.
Россияне стали потреблять ещё больше интернет-трафика и меньше звонить по телефону в 2023 году 3 ч.
В России появятся полигоны для тестирования оборудования для производства чипов 3 ч.