Сегодня 31 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Найден новый способ заставить ИИ говорить на запрещённые темы — нужно просто измотать его вопросами

Разработчики современных систем искусственного интеллекта накладывают на них ограничения, запрещая давать ответы на отступающие от традиционных этических норм вопросы. Существует множество способов обойти эти ограничения, и очередной такой способ открыли исследователи из компании Anthropic — измотать ИИ вопросами.

 Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Учёные назвали новый тип атаки «многоимпульсным взломом» (many-shot jailbreaking) — они подробно описали его в статье и предупредили коллег о выявленной уязвимости, чтобы последствия атаки можно было смягчить. Уязвимость возникла из-за того, что у больших языковых моделей последнего поколения увеличилось контекстное окно — объём данных, который они могут хранить в том, что заменяет им кратковременную память. Раньше этот объём данных ограничивался несколькими предложениями, а сейчас он вмещает тысячи слов и даже целые книги.

Исследователи Anthropic обнаружили, что модели с большими контекстными окнами, как правило, лучше справляются с задачами, если в запросе содержатся несколько примеров решения подобных задач. Другими словами, чем больше в запросе простых вопросов, тем выше качество ответа. И если первый вопрос ИИ понимает неправильно, то с сотым ошибки уже не будет. Но в результате такого «контекстного обучения» большая языковая модель начинает «лучше» отвечать на недопустимые вопросы. Так, если просто спросить её, как собрать бомбу, она откажется отвечать. Но если перед этим задать модели 99 менее опасных вопросов, а затем снова спросить, как собрать бомбу, вероятность получить недопустимый ответ вырастет.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

Трудно сказать наверняка, почему эта атака срабатывает. В действительности никто не знает, что творится в сложной системе весов, которую представляет собой большая языковая модель, но, видимо, существует некий механизм, который помогает ей сосредоточиться на том, что нужно пользователю — понять это помогает содержимое контекстного окна. И когда он говорит о том, что можно принять за мелочи, после упоминания в нескольких десятках вопросов они перестают быть мелочами.

Авторы работы из Anthropic проинформировали коллег и конкурентов о результатах исследования — они считают, что раскрытие информации подобного рода должно войти в отраслевую практику, и в результате «сформируется культура, в которой эксплойты вроде этого будут открыто распространяться среди разработчиков больших языковых моделей и исследователей». Наиболее очевидный способ смягчить последствия атаки — сократить контекстное окно модели, но это снизит качество её работы.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Жестокая, энергичная и без компромиссов»: впечатления журналистов и 14 минут нового геймплея Doom: The Dark Ages 7 мин.
В «Google Презентациях» появился ИИ для генерации изображений Imagen 3 и другие инструменты для «потрясающих презентаций» 13 мин.
Amazon представила ИИ-агента Nova Act, который заменит человека в интернет-серфинге 3 ч.
Слухи: четыре известные корейские компании устроили борьбу за право создавать новые игры по StarCraft 3 ч.
Голливудские студии перенаправили монетизацию фейковых трейлеров на YouTube себе в карман 4 ч.
Франция оштрафовала Apple на €150 млн за ограничение таргетинга в iOS 4 ч.
«Вы объединяете мир»: в Death Stranding сыграло более 20 миллионов человек 6 ч.
«Яндекс» выпустил открытую ИИ-модель YandexGPT 5 Lite: её можно запускать на обычной рабочей станции 7 ч.
«Яндекс» выпустила ИИ-модель YandexGPT 5 Lite — она поможет ускорить IT-разработку и исследования 8 ч.
Split Fiction установила три мировых рекорда и попала в «Книгу рекордов Гиннесса» 8 ч.
Стартовали продажи игровых ноутбуков с Nvidia Blackwell — за мобильную RTX 5090 просят как минимум $4299 9 мин.
На рынке комплектующих для игровых ПК появился новый крупный игрок — HP расширила ассортимент геймерского бренда Omen 3 ч.
Acer представила 240-Гц игровые QD-OLED-мониторы Predator X27U X1 и Predator X32 X2 по цене от $600 3 ч.
Meta подписала соглашение с Sembcorp о поставке энергии плавучих солнечных генераторов в Сингапуре 3 ч.
Возврат к корням: Vantage Towers разместила базовые станции на деревянных столбах 4 ч.
Arm собралась руками Nvidia захватить половину рынка процессоров для дата-центров 5 ч.
Доступная раскладушка Samsung Galaxy Z Flip 7 FE будет выглядеть точно как прошлогодний Z Flip 6 6 ч.
На заводе «ЦТС» в Калининградской области начали выпускать серверные платы 7 ч.
Qualcomm представит 2 апреля новый процессор для бюджетных флагманов — преемника Snapdragon 8s Gen 3 7 ч.
Zeekr анонсировала зарядные станции с рекордной мощностью в 1,2 МВт, но подходящих электромобилей пока не существует 8 ч.