Сегодня 11 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Найден универсальный способ обойти этические ограничения большинства ИИ-моделей

Учёные Университета Карнеги — Меллона и Центра безопасности искусственного интеллекта обнаружили уязвимость, присущую большинству современных ИИ-моделей. Она позволяет обходить установленные их разработчиками морально-этические барьеры. В результате основанные на этих моделях чат-боты выдают рецепты изготовления взрывчатых устройств, пишут вредоносный код, а также поддерживают разговоры в нацистском и сексистском ключах, передаёт Fortune.

 Источник изображений: Gerd Altmann / pixabay.com

Источник изображений: Gerd Altmann / pixabay.com

Предложенный исследователями метод атаки в той или иной степени срабатывает на самых передовых современных системах: OpenAI ChatGPT в версиях на GPT-3.5 и GPT-4, Microsoft Bing Chat, Google Bard и Anthropic Claude 2. Но ещё больше он актуален для открытых больших языковых моделей вроде Meta LLaMA — успех гарантирован, когда у злоумышленника есть доступ ко всей структуре ИИ, и в первую очередь к синаптическим весам. Синаптические веса — коэффициенты, показывающие, какое влияние узел нейросети оказывает на другие узлы, с которыми он связан. Зная эту информацию, можно создать алгоритм автоматического поиска суффиксов, которые добавляются к запросу, чтобы гарантированно преодолеть ограничения системы.

Человеку эти суффиксы могут показаться по большей части длинной последовательностью случайных символов и бессмысленным набором слов. Но строка из таких символов способна обмануть большую языковую модель и заставить её дать ответ, которого ждёт организатор атаки. Схожим образом работают предложенные экспериментаторами методы атаки — например, можно предписать чат-боту начать ответ со слов «Конечно, вот...», и он в отдельных случаях обходит установленные ограничения. Но подобранные программными методами суффиксы выходят далеко за рамки подобных обходных путей и работают более эффективно.

Чат-бот Vicuna, основанный на первой версии Meta LLaMA, позволяет производит атаки с успехом почти 100 %. Обновлённая модель LLaMA 2 имеет более надёжную защиту и позволяет добиваться успеха в 56 % случаев — но при попытке обрушить хотя бы один барьер из нескольких, которые подвергаются атаке одновременно, вероятность взлома повышается 84 %. Схожие показатели успеха демонстрируются при работе с чат-ботами на других открытых моделях, таких как EleutherAI Pythia или созданной в ОАЭ системе Falcon.

К некоторому удивлению самих учёных, те же самые суффиксы хорошо работают и против проприетарных моделей, разработчики которых открывают общий доступ только к интерфейсу запросов — в таких случаях доступ к весам отсутствует, и программу поиска суффиксов запустить не получается. Учёные предложили простое объяснение такому эффекту: большинство открытых моделей обучалось на общедоступных диалогах пользователей с бесплатной версией ChatGPT на основе OpenAI GPT-3.5. Поэтому неудивительно, что и бесплатная ChatGPT демонстрирует 86,6 % успеха.

Высокий успех атак на закрытую Google Bard на базе PaLM 2 (66 %) может указывать на существование каких-то иных скрытых механизмов — или в Google просто покривили душой, когда заявили, что не обучали Bard на данных ChatGPT. Примечательно, что обученная по уникальным методикам Anthropic Claude 2 демонстрирует всего 2,1 % успеха, хотя есть некоторые способы обойти эту защиту, например, предложив ИИ изобразить готовность помочь или представить, что это просто игра — тогда атаки срабатывают в 47,9 % случаев.

Учёные подчёркивают, что их открытие отнюдь не означает, что мощные ИИ-модели следует изъять из общего доступа — напротив, без доступа к исходному коду этого открытия никогда бы не случилось. А перевод больших языковых моделей на проприетарные лицензии означал бы, что автоматизированные методы атаки остались бы доступными только для киберпреступников с хорошим финансированием и поддерживаемых властями стран кибервойск, а независимые учёные никогда не нашли бы способов защиты от них.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Миллионы Mercedes-Benz, Volkswagen и Škoda оказалось можно взломать по Bluetooth 28 мин.
Олдскульный хоррор Heartworm в духе Resident Evil и Silent Hill не заставит себя долго ждать — дата выхода и новый трейлер 2 ч.
В Windows 11 появился ИИ-агент, помогающий с настройками ОС 3 ч.
У разработчиков «Мира танков» появился новый управляющий — это компания, учреждённая несколько дней назад 3 ч.
Фанаты нашли подтверждение недавних слухов о Red Dead Redemption 2 и GTA IV на официальном сайте Rockstar 4 ч.
Россиянина приговорили к трём годам тюрьмы за кражу технологий ASML для создания производства чипов в России 4 ч.
В Telegram появится реклама, как в YouTube — прямо на видео 4 ч.
Telegram объявил победителей конкурса на антирекламу WhatsApp 6 ч.
Apple создала ИИ, который определяет состояние здоровья человека с точностью до 92 % 6 ч.
ИИ-бот Grok 4 уличён в использовании мнения Илона Маска для ответов на спорные вопросы 7 ч.
Суд обязал МТС выплатить штраф в 3 млрд рублей за необоснованное повышение тарифов 37 мин.
Разработчик зрения для роботов RealSense отделился от Intel и привлёк $50 млн инвестиций 2 ч.
Смарт-часы станут производительнее и эффективнее — Qualcomm, наконец, разработает для них новый процессор 2 ч.
«Самая старая комета, которую мы когда-либо видели» — учёные оценили возраст третьего межзвёздного объекта в 7 млрд лет 2 ч.
Бюрократы да экологи: Microsoft посетовала на трудность развития ЦОД в Европе 3 ч.
Умные серьги и ожерелья не за горами — Samsung задумалась о новых формфакторах носимых устройств 4 ч.
Colorful показала видеокарту GeForce RTX 5000 iGame Ultra с двумя слотами M.2 для SSD 4 ч.
Sony показала спецверсии PlayStation 5 Ghost of Yotei Limited Edition 4 ч.
Silicon Motion представила SSD-контроллер с PCIe 6.0 и скоростью до 28 Гбайт/с 5 ч.
Curator: DDoS-атак во втором квартале стало в 1,5 раза больше, а рекордный ботнет вырос до 4,6 млн устройств 6 ч.