Сегодня 01 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ заставили вскрывать учётные записи текстовыми командами — навыки хакера больше не нужны

Исследователь технологий кибербезопасности Иоганн Ребергер (Johann Rehberger) «уговорил» ChatGPT произвести несколько потенциально опасных операций: прочитать сообщение его электронной почты, составить из него сводку и опубликовать эту информацию в интернете, сообщает The Wall Street Journal. В руках злоумышленника такой инструмент мог бы стать грозным оружием.

 Источник изображения: Franz Bachinger / pixabay.com

Источник изображения: Franz Bachinger / pixabay.com

Чат-боты на алгоритмах искусственного интеллекта вроде ChatGPT, как выразился господин Ребергер, «снижают входной барьер для атак всех видов. Не нужно уметь писать код. Не обязательно иметь глубокие познания в информатике или хакерском деле». Описанный им способ атаки неприменим к большинству учётных записей ChatGPT — он основан на экспериментальной функции, открывающей доступ к Slack, Gmail и другим приложениям. В ответственной за ChatGPT компании OpenAI поблагодарили эксперта за предостережение и сообщили, что заблокировали возможность повторного осуществления подобных атак.

Предложенный Ребергером механизм «командных инъекций» (prompt injection) — это новый класс кибератак, который раскрывается по мере внедрения компаниями технологий ИИ в свой бизнес и потребительские продукты. Подобные методы меняют представление о природе хакерского дела, и специалистам по кибербезопасности предстоит ещё открыть множество уязвимостей, прежде чем присутствие ИИ станет действительно повсеместным.

Лежащая в основе ChatGPT технология генеративного ИИ, которая позволяет создавать целые фразы и предложения — это нечто вроде средства автозаполнения «на максималках». Поведение чат-ботов ограничивается разработчиками: существуют инструкции, призванные не позволять им разглашать конфиденциальную информацию или запрещающие им высказывания оскорбительного характера. Но существуют решения, позволяющие обходить эти запреты. К примеру, Иоганн Ребергер попросил чат-бота создать сводку веб-страницы, на которой он сам написал большими буквами: «НОВЫЕ ВАЖНЫЕ ИНСТРУКЦИИ» — и это озадачило машину. Постепенно он заставлял ChatGPT выполнять самые разные команды. «Это как кричать на систему „А ну, делай это”», — пояснил Ребергер. По сути, он принудил ИИ перепрограммировать себя.

Методика «командных инъекций» оказалась работоспособной из-за важной особенности систем ИИ: они не всегда должным образом отличают системные команды от вводимых пользователями данных, пояснил профессор Принстонского университета Арвинд Нараянан (Arvind Narayanan). Это значит, что разработчикам ИИ следует уделять внимание не только классическим аспектам кибербезопасности, но и учитывать новые угрозы заведомо непредсказуемого характера.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Вернулись к тому, с чего начинали: похоже, Blizzard готовится переименовать Overwatch 2 в Overwatch 5 ч.
Календарь релизов — 1–6 апреля: The Last of Us Part II Remastered на ПК и Steel Hunters 5 ч.
Новая игра по «Звёздным войнам» от бывших разработчиков XCOM выглядит как XCOM по «Звёздным войнам» — первые скриншоты 6 ч.
Apple выпустила iOS 18.4 с «Приоритетными уведомлениями» от ИИ и другими улучшениями 6 ч.
«Софтлайн» опубликовал аудированные итоги 2024 года, подтвердив увеличение прогноза на 2025 год 7 ч.
В «Google Презентациях» появился ИИ для генерации изображений Imagen 3 и другие инструменты для «потрясающих презентаций» 8 ч.
Amazon представила ИИ-агента Nova Act, который заменит человека в интернет-серфинге 10 ч.
Слухи: четыре известные корейские компании устроили борьбу за право создавать новые игры по StarCraft 10 ч.
Голливудские студии перенаправили монетизацию фейковых трейлеров на YouTube себе в карман 11 ч.
Франция оштрафовала Apple на €150 млн за ограничение таргетинга в iOS 11 ч.
Новая статья: Обзор смартфона HONOR Magic 7: зачем платить больше? 4 ч.
Zotac представила GeForce RTX 5070 Ti в компактной версии Solid SFF и белой Solid White 5 ч.
Micron предупредила о дальнейшем росте цен на DRAM и NAND, и обвинила в этом ИИ 6 ч.
Стартовали продажи игровых ноутбуков с Nvidia Blackwell — за мобильную RTX 5090 просят как минимум $4299 8 ч.
На рынке комплектующих для игровых ПК появился новый крупный игрок — HP расширила ассортимент геймерского бренда Omen 10 ч.
Acer представила 240-Гц игровые QD-OLED-мониторы Predator X27U X1 и Predator X32 X2 по цене от $600 10 ч.
Meta подписала соглашение с Sembcorp о поставке энергии плавучих солнечных генераторов в Сингапуре 10 ч.
Возврат к корням: Vantage Towers разместила базовые станции на деревянных столбах 11 ч.
Arm собралась руками Nvidia захватить половину рынка процессоров для дата-центров 12 ч.
Между Apple и Илоном Маском разгорелся конфликт из-за мобильной спутниковой связи 12 ч.