Сегодня 05 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → запрещённая информация

Щиты ИИ рухнули от слов поэта — запросы в стихах позволили выпытать секреты атомной бомбы и кое-что похуже

Учёным удалось «заморочить голову» всем без исключения чат-ботам, заставив их выдать запрещённую для распространения информацию научного, сексуального и иного характера. Оказалось, что обычная человеческая поэзия — естественная форма так называемой состязательной атаки. Облечённый в стихотворную форму промпт обеспечил обход самых суровых ИИ-фильтров с вероятностью свыше 90 %.

 Источник изображения: ИИ-генерация Grok 4.1/3DNews

Источник изображения: ИИ-генерация Grok 4.1

Исследование провела лаборатория Icaro — совместный проект Университета Сапиенца (Sapienza University) в Риме и аналитического центра DexAI. Они протестировали этот подход на 25 чат-ботах, созданных такими компаниями, как OpenAI, Meta✴✴ и Anthropic. Со всеми из них он сработал с разной степенью успеха. Компании Meta✴✴, Anthropic и OpenAI не предоставили учёным комментариев и не сообщили, будут ли приняты меры для смягчения угрозы.

Метод состязательной атаки заключается в том, чтобы ввести путаницу в схемы защиты чувствительной информации. Для этого запрос формулируется таким образом, чтобы задача ставилась не напрямую, а иносказательно с добавлением текстового «мусора» — бессмысленных окончаний, наборов слов или просто бессвязного текста. В этом ключе поэзия — вершина иносказательности, подбора метафор и неожиданных фраз.

Для самостоятельно написанных в стихотворной форме запросов подробный ответ на «запрещёнку» последовал в 62 % случаев, тогда как на прямой запрос ИИ не отвечал. Для стихотворных запросов, сгенерированных ИИ, вероятность успеха составила 43 %. В некоторых случаях вероятность ответа превышала 90 %. Защитные механизмы ИИ пасуют перед такой атакой, заставляя большие языковые модели в некотором смысле творчески реагировать на запретный запрос, обходя точки срабатывания защиты.

Из этических соображений учёные не стали публиковать стихи, с помощью которых они выведали у чат-ботов рецепт изготовления атомной бомбы, коды вредоносного ПО и другое. Компаниям-разработчикам они порекомендовали укреплять защиту, переходя от поверхностных фильтров к более глубоким механизмам, учитывающим стилистические манипуляции словом.

Telegram снова оштрафован в России за неудаление запрещённого контента — теперь на ₽7 млн

25 ноября Таганский суд Москвы признал мессенджер Telegram виновным в неудалении запрещённой информации, содержащей призывы к осуществлению экстремистской деятельности или материалы с порнографическими изображениями несовершеннолетних в соответствии с ч. 2 ст. 13.41 КоАП РФ (неудаление владельцем сайта информации в случае, если обязанность по удалению такой информации предусмотрена законодательством РФ). Мессенджер оштрафован на ₽7 млн.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

Это далеко не первый случай несоблюдения мессенджером требований российского законодательства. 30 октября Таганский суд Москвы оштрафовал Telegram на ₽4 млн за неудаление нескольких каналов, авторы которых размещали запрещённый в РФ контент. Ранее в этом же месяце Telegram уже штрафовали на ₽4 млн в России за административное правонарушение по ч.2 ст. 13.41 КоАП РФ.

За аналогичное правонарушение Telegram также был оштрафован на ₽4 млн в августе этого года. В июле Таганский суд Москвы оштрафовал мессенджер на ₽3 млн за отказ удалять запрещённую в РФ информацию. В ноябре 2023 года мессенджер был оштрафован на ₽4 млн за отказ заблокировать запрещённый контент. Кроме того, в 2021 году мессенджер был несколько раз оштрафован за аналогичные нарушения на общую сумму ₽9 млн.

В течение последних лет крупнейшие интернет-платформы, такие как Apple, Google, Telegram, Facebook✴✴, Twitter, TikTok, фонд Wikimedia, неоднократно привлекались в России к ответственности за неудаление запрещённого контента. Нередко это происходит из-за отказа со стороны социальных сетей и мессенджеров удалять недостоверную, по мнению соответствующих ведомств, информацию.


window-new
Soft
Hard
Тренды 🔥
Приложение Xbox для ПК стало запускаться на 60 % быстрее, а сервис Xbox Cloud Gaming получил новый интерфейс 26 мин.
Герои, бандиты и красоты Вайс-Сити: Rockstar показала 39 новых скриншотов GTA VI 2 ч.
Геймплея нет, купи футболку: Bethesda выпустила фирменную одежду по The Elder Scrolls VI: Sentinel, чтобы фанаты могли «показать свой ажиотаж» 3 ч.
Anthropic смягчила запрет на клонирование популярных игр через Claude Code 4 ч.
Исследование показало, как большие компании последние 26 лет убивали игровые студии 5 ч.
Хакеры взламывали Android-смартфоны через дыры в Chrome и графике Snapdragon 7 ч.
Россияне массово покупают доступ к зарубежным ИИ через серые схемы — с рисками, зато по дешёвке 8 ч.
Apple заверила, что не собирается объединять macOS и iPadOS — хотя они и сближаются 8 ч.
Фанаты призвали правительство Канады выкупить BioWare у EA, а петицию за спасение Mass Effect подписали более 300 тысяч человек 9 ч.
Поставки PS5 рухнули на треть, но прибыль игрового бизнеса Sony взлетела на 83 % 10 ч.
Blue Origin отложила запуск New Glenn на январь — ремонт стартовой площадки после взрыва затягивается 23 мин.
SanDisk сделала ставку на HBF, но выпускать её пока негде, поскольку Kioxia выбрала иной путь развития памяти 45 мин.
Motorola представила флагман Signature 27 с батареей на 7000 мА·ч и EVS-сенсором за $1599 56 мин.
Роботы на GPT-6 умеют творить без предварительного обучения, но пока не могут нормально работать руками — в Unitree объяснили почему 2 ч.
«Лучший дисплей для ноутбука»: первые обзоры новых MacBook Pro расхваливают OLED, но не сенсорное управление 3 ч.
SpaceX намерена запустить в 2027 году 10 ГВт мощностей ИИ ЦОД — цель представляется достижимой 5 ч.
У неооблачных партнёров Microsoft возникли задержки со строительством ИИ ЦОД 5 ч.
Microsoft не воспользовалась опционом на расширение многомиллиардного договора аренды ИИ ЦОД Nscale 5 ч.
«Защитники энергосети»: OpenAI готова умерить аппетиты своих ИИ ЦОД, на время отдавая на нужды населения до 1 ГВт 5 ч.
AMD добавила машинное обучение в апскейлер для Xbox — FSR 4.1.2 стала доступна разработчикам 6 ч.