Сегодня 04 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ заставили вскрывать учётные записи текстовыми командами — навыки хакера больше не нужны

Исследователь технологий кибербезопасности Иоганн Ребергер (Johann Rehberger) «уговорил» ChatGPT произвести несколько потенциально опасных операций: прочитать сообщение его электронной почты, составить из него сводку и опубликовать эту информацию в интернете, сообщает The Wall Street Journal. В руках злоумышленника такой инструмент мог бы стать грозным оружием.

 Источник изображения: Franz Bachinger / pixabay.com

Источник изображения: Franz Bachinger / pixabay.com

Чат-боты на алгоритмах искусственного интеллекта вроде ChatGPT, как выразился господин Ребергер, «снижают входной барьер для атак всех видов. Не нужно уметь писать код. Не обязательно иметь глубокие познания в информатике или хакерском деле». Описанный им способ атаки неприменим к большинству учётных записей ChatGPT — он основан на экспериментальной функции, открывающей доступ к Slack, Gmail и другим приложениям. В ответственной за ChatGPT компании OpenAI поблагодарили эксперта за предостережение и сообщили, что заблокировали возможность повторного осуществления подобных атак.

Предложенный Ребергером механизм «командных инъекций» (prompt injection) — это новый класс кибератак, который раскрывается по мере внедрения компаниями технологий ИИ в свой бизнес и потребительские продукты. Подобные методы меняют представление о природе хакерского дела, и специалистам по кибербезопасности предстоит ещё открыть множество уязвимостей, прежде чем присутствие ИИ станет действительно повсеместным.

Лежащая в основе ChatGPT технология генеративного ИИ, которая позволяет создавать целые фразы и предложения — это нечто вроде средства автозаполнения «на максималках». Поведение чат-ботов ограничивается разработчиками: существуют инструкции, призванные не позволять им разглашать конфиденциальную информацию или запрещающие им высказывания оскорбительного характера. Но существуют решения, позволяющие обходить эти запреты. К примеру, Иоганн Ребергер попросил чат-бота создать сводку веб-страницы, на которой он сам написал большими буквами: «НОВЫЕ ВАЖНЫЕ ИНСТРУКЦИИ» — и это озадачило машину. Постепенно он заставлял ChatGPT выполнять самые разные команды. «Это как кричать на систему „А ну, делай это”», — пояснил Ребергер. По сути, он принудил ИИ перепрограммировать себя.

Методика «командных инъекций» оказалась работоспособной из-за важной особенности систем ИИ: они не всегда должным образом отличают системные команды от вводимых пользователями данных, пояснил профессор Принстонского университета Арвинд Нараянан (Arvind Narayanan). Это значит, что разработчикам ИИ следует уделять внимание не только классическим аспектам кибербезопасности, но и учитывать новые угрозы заведомо непредсказуемого характера.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Спустя 10 лет после релиза Ubisoft случайно ввела цензуру в Far Cry 4, но быстро исправила ошибку 2 ч.
Microsoft выпустила юбилейные обои для Windows с отсылками к легендарным элементам из прошлого корпорации 2 ч.
Сэм Альтман: GPT-5 задержится, чтобы стать лучше — зато «думающий» ИИ OpenAI o3 выйдет совсем скоро 4 ч.
Режиссёр Elden Ring рассказал, как будет играться The Duskbloods — эксклюзив Nintendo Switch 2 от FromSoftware 4 ч.
В России насчитали уже 134 тысяч блогеров с аудиторией выше 10 тысяч человек 4 ч.
Rutube не смог обогнать замедленный YouTube по популярности в России — это удалось только «VK Видео» 4 ч.
Европа готовится оштрафовать соцсеть X более чем на $1 миллиард 4 ч.
Представлена Midjourney V7 — ИИ-генератор изображений стал идеально понимать запросы и поразил качеством 6 ч.
Соавтор Dishonored «с радостью» бы взялся за Dishonored 3, но есть нюанс 7 ч.
ООН: ИИ уничтожит почти половину рабочих мест к 2033 году 8 ч.
Из-за новых импортных тарифов стоимость iPhone в США может вырасти до $2300 27 мин.
Honda отправит свои водородные топливные ячейки в космос — сначала на МКС, а потом дальше 29 мин.
Nintendo отложила старт предзаказов Switch 2 в США, чтобы оценить влияние пошлин Трампа 3 ч.
Представлен смартфон Honor 400 Lite с чипом Dimensity 7025-Ultra и 108-Мп камерой 3 ч.
Китай зеркально ответил на пошлины Трампа, обложив товары из США пошлиной в 34 % 4 ч.
Российская компания iRU начала выпускать материнские платы для процессоров AMD и Intel 5 ч.
Тайваньский производитель серверов Wistron инвестирует $50 млн в производство в США на фоне новых тарифов Дональда Трампа 5 ч.
Китайская Loongson анонсировала восьмиядерный процессор для ноутбуков с поддержкой 4K и PCIe 3.0 6 ч.
Испанская Sateliot привлекла €70 млн европейских инвесторов на спутниковый Интернет вещей 6 ч.
Каждый пятый проданный в России в этом году смартфон выпустила Xiaomi, но заработала больше всех Apple 7 ч.
Включить темный режим