Сегодня 11 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Найден универсальный способ обойти этические ограничения большинства ИИ-моделей

Учёные Университета Карнеги — Меллона и Центра безопасности искусственного интеллекта обнаружили уязвимость, присущую большинству современных ИИ-моделей. Она позволяет обходить установленные их разработчиками морально-этические барьеры. В результате основанные на этих моделях чат-боты выдают рецепты изготовления взрывчатых устройств, пишут вредоносный код, а также поддерживают разговоры в нацистском и сексистском ключах, передаёт Fortune.

 Источник изображений: Gerd Altmann / pixabay.com

Источник изображений: Gerd Altmann / pixabay.com

Предложенный исследователями метод атаки в той или иной степени срабатывает на самых передовых современных системах: OpenAI ChatGPT в версиях на GPT-3.5 и GPT-4, Microsoft Bing Chat, Google Bard и Anthropic Claude 2. Но ещё больше он актуален для открытых больших языковых моделей вроде Meta LLaMA — успех гарантирован, когда у злоумышленника есть доступ ко всей структуре ИИ, и в первую очередь к синаптическим весам. Синаптические веса — коэффициенты, показывающие, какое влияние узел нейросети оказывает на другие узлы, с которыми он связан. Зная эту информацию, можно создать алгоритм автоматического поиска суффиксов, которые добавляются к запросу, чтобы гарантированно преодолеть ограничения системы.

Человеку эти суффиксы могут показаться по большей части длинной последовательностью случайных символов и бессмысленным набором слов. Но строка из таких символов способна обмануть большую языковую модель и заставить её дать ответ, которого ждёт организатор атаки. Схожим образом работают предложенные экспериментаторами методы атаки — например, можно предписать чат-боту начать ответ со слов «Конечно, вот...», и он в отдельных случаях обходит установленные ограничения. Но подобранные программными методами суффиксы выходят далеко за рамки подобных обходных путей и работают более эффективно.

Чат-бот Vicuna, основанный на первой версии Meta LLaMA, позволяет производит атаки с успехом почти 100 %. Обновлённая модель LLaMA 2 имеет более надёжную защиту и позволяет добиваться успеха в 56 % случаев — но при попытке обрушить хотя бы один барьер из нескольких, которые подвергаются атаке одновременно, вероятность взлома повышается 84 %. Схожие показатели успеха демонстрируются при работе с чат-ботами на других открытых моделях, таких как EleutherAI Pythia или созданной в ОАЭ системе Falcon.

К некоторому удивлению самих учёных, те же самые суффиксы хорошо работают и против проприетарных моделей, разработчики которых открывают общий доступ только к интерфейсу запросов — в таких случаях доступ к весам отсутствует, и программу поиска суффиксов запустить не получается. Учёные предложили простое объяснение такому эффекту: большинство открытых моделей обучалось на общедоступных диалогах пользователей с бесплатной версией ChatGPT на основе OpenAI GPT-3.5. Поэтому неудивительно, что и бесплатная ChatGPT демонстрирует 86,6 % успеха.

Высокий успех атак на закрытую Google Bard на базе PaLM 2 (66 %) может указывать на существование каких-то иных скрытых механизмов — или в Google просто покривили душой, когда заявили, что не обучали Bard на данных ChatGPT. Примечательно, что обученная по уникальным методикам Anthropic Claude 2 демонстрирует всего 2,1 % успеха, хотя есть некоторые способы обойти эту защиту, например, предложив ИИ изобразить готовность помочь или представить, что это просто игра — тогда атаки срабатывают в 47,9 % случаев.

Учёные подчёркивают, что их открытие отнюдь не означает, что мощные ИИ-модели следует изъять из общего доступа — напротив, без доступа к исходному коду этого открытия никогда бы не случилось. А перевод больших языковых моделей на проприетарные лицензии означал бы, что автоматизированные методы атаки остались бы доступными только для киберпреступников с хорошим финансированием и поддерживаемых властями стран кибервойск, а независимые учёные никогда не нашли бы способов защиты от них.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: В малом весе: обзор российских мобильных операционных систем 8 ч.
YouTube объявил о закрытии раздела «В тренде», но уже готовит ему замену 8 ч.
Первый геймплей боевика «Земский собор» от создателей «Смуты» не впечатлил игроков 8 ч.
Спутниковый интернет Starlink теперь доступен в 1000 самолётов по всему миру — 100 Мбит/с в небе, бесплатно 9 ч.
Забастовка актёров озвучки игр наконец завершена — участники SAG-AFTRA одобрили новый договор 10 ч.
«Я был пьян, но утечки так и не случилось»: глава издательского отдела Larian рассказал, как чуть не «слил» дату выхода Baldur's Gate 3 11 ч.
Google Gemini научился превращать фото в восьмисекундные видео со звуком, но небесплатно 11 ч.
ЕС открыл новое дело против TikTok за передачу данных европейцев в Китай — ранее соцсеть уже штрафовали за это на €530 млн 12 ч.
Elden Ring Nightreign возглавила рейтинг самых продаваемых игр в США за май — в первой пятёрке оказалось четыре игры от Microsoft 13 ч.
К приложению поддержки Apple подключат ИИ 14 ч.
Huawei пытается продвигать свои ускорители вычислений на Ближнем Востоке и в Юго-Восточной Азии 14 мин.
Аналитики усомнились в рентабельности бизнеса Starlink после опубликованного отчёта 2 ч.
Масштабные планы Apple на 2026: новые Mac, iPad, iPhone и неожиданно внешний монитор 2 ч.
Глава Nvidia встретился с Дональдом Трампом перед визитом в Китай, капитализация компании превысила $4 трлн 3 ч.
Meta готовит новые умные очки Ray-Ban без дисплея, но с улучшенной батареей 3 ч.
Razer представила игровую мышь DeathAdder V4 Pro за $170 с оптическим колёсиком и сенсором на 45 000 DPI 9 ч.
Philips выпустила 27-дюймовый игровой монитор Evnia 27M2N3800A с поддержкой 4K@160 Гц и FHD@320 Гц 9 ч.
Роботы-койоты на колёсах заменили робопсов в охране военных аэродромов США от диких зверей — они оказались шустрее 11 ч.
Infinix представила тонкие и недорогие смартфоны Hot 60 Pro+ и Hot 60 Pro с ярким дизайном и быстрыми экранами 12 ч.
Yeston представила Radeon RX 9070 XT Mercury Nova с футуристическим дизайном в стиле старых видеокарт EVGA Kingpin 12 ч.