Сегодня 02 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ заставили вскрывать учётные записи текстовыми командами — навыки хакера больше не нужны

Исследователь технологий кибербезопасности Иоганн Ребергер (Johann Rehberger) «уговорил» ChatGPT произвести несколько потенциально опасных операций: прочитать сообщение его электронной почты, составить из него сводку и опубликовать эту информацию в интернете, сообщает The Wall Street Journal. В руках злоумышленника такой инструмент мог бы стать грозным оружием.

 Источник изображения: Franz Bachinger / pixabay.com

Источник изображения: Franz Bachinger / pixabay.com

Чат-боты на алгоритмах искусственного интеллекта вроде ChatGPT, как выразился господин Ребергер, «снижают входной барьер для атак всех видов. Не нужно уметь писать код. Не обязательно иметь глубокие познания в информатике или хакерском деле». Описанный им способ атаки неприменим к большинству учётных записей ChatGPT — он основан на экспериментальной функции, открывающей доступ к Slack, Gmail и другим приложениям. В ответственной за ChatGPT компании OpenAI поблагодарили эксперта за предостережение и сообщили, что заблокировали возможность повторного осуществления подобных атак.

Предложенный Ребергером механизм «командных инъекций» (prompt injection) — это новый класс кибератак, который раскрывается по мере внедрения компаниями технологий ИИ в свой бизнес и потребительские продукты. Подобные методы меняют представление о природе хакерского дела, и специалистам по кибербезопасности предстоит ещё открыть множество уязвимостей, прежде чем присутствие ИИ станет действительно повсеместным.

Лежащая в основе ChatGPT технология генеративного ИИ, которая позволяет создавать целые фразы и предложения — это нечто вроде средства автозаполнения «на максималках». Поведение чат-ботов ограничивается разработчиками: существуют инструкции, призванные не позволять им разглашать конфиденциальную информацию или запрещающие им высказывания оскорбительного характера. Но существуют решения, позволяющие обходить эти запреты. К примеру, Иоганн Ребергер попросил чат-бота создать сводку веб-страницы, на которой он сам написал большими буквами: «НОВЫЕ ВАЖНЫЕ ИНСТРУКЦИИ» — и это озадачило машину. Постепенно он заставлял ChatGPT выполнять самые разные команды. «Это как кричать на систему „А ну, делай это”», — пояснил Ребергер. По сути, он принудил ИИ перепрограммировать себя.

Методика «командных инъекций» оказалась работоспособной из-за важной особенности систем ИИ: они не всегда должным образом отличают системные команды от вводимых пользователями данных, пояснил профессор Принстонского университета Арвинд Нараянан (Arvind Narayanan). Это значит, что разработчикам ИИ следует уделять внимание не только классическим аспектам кибербезопасности, но и учитывать новые угрозы заведомо непредсказуемого характера.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Трёх бывших топ-менеджеров Ubisoft признали виновными в психологических и сексуальных домогательствах 18 мин.
Opera получила бесшовный перевод с 40 языков, включая русский, и другие улучшения 2 ч.
«Кто-то проник в наш дом и что-то украл» — Сэм Альтман назвал отвратительным то, как Meta переманивает специалистов ИИ 2 ч.
Китай неумолимо подрывает лидерство Америки в глобальной гонке ИИ 3 ч.
Волшебное приключение Everwild от создателей Sea of Thieves стало жертвой новой волны увольнений в Xbox 3 ч.
Стало известно, чем Цукерберг заманивает специалистов из OpenAI в свою лабораторию сверхинтеллекта 3 ч.
Microsoft повысит цены на on-premise серверные продукты 4 ч.
iOS 26 сможет автоматически выключать наушники Beats и AirPods, если пользователь уснул 4 ч.
Microsoft подтвердила новую волну массовых увольнений на благо Xbox 4 ч.
Приложение «Google Фото» стало удобнее и нагляднее 5 ч.
Великобритания обновит закон 1885 года для обеспечения зашиты подводных кабелей 2 ч.
IT-компании с готовностью откликнулись на призыв построить ИИ-гигафабрики на деньги Евросоюза 3 ч.
Астрономы обнаружили третий межзвездный объект в Солнечной системе 3 ч.
Производство iPhone для США под угрозой — Foxconn зачем-то массово вывозит китайских инженеров с индийских фабрик 3 ч.
Поставки Tesla рухнули на 13 % под давлением конкурентов, но аналитики ожидали худшего 4 ч.
SpaceX провела 500-й запуск Falcon 9 — и снова побила рекорд многоразовости 4 ч.
DigitalBridge завершила сделку по покупке Yondr Group 4 ч.
Тесты более 200 карт памяти SD выявили пропасть между заявленными и реальными характеристиками 4 ч.
Honor представила Magic V5 — самый тонкий в мире складной смартфон 5 ч.
Tesla рассказала, как деградируют аккумуляторы в электромобилях — влияет не только пробег 6 ч.