Сегодня 23 августа 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → запрещённая информация

Щиты ИИ рухнули от слов поэта — запросы в стихах позволили выпытать секреты атомной бомбы и кое-что похуже

Учёным удалось «заморочить голову» всем без исключения чат-ботам, заставив их выдать запрещённую для распространения информацию научного, сексуального и иного характера. Оказалось, что обычная человеческая поэзия — естественная форма так называемой состязательной атаки. Облечённый в стихотворную форму промпт обеспечил обход самых суровых ИИ-фильтров с вероятностью свыше 90 %.

 Источник изображения: ИИ-генерация Grok 4.1/3DNews

Источник изображения: ИИ-генерация Grok 4.1

Исследование провела лаборатория Icaro — совместный проект Университета Сапиенца (Sapienza University) в Риме и аналитического центра DexAI. Они протестировали этот подход на 25 чат-ботах, созданных такими компаниями, как OpenAI, Meta✴ и Anthropic. Со всеми из них он сработал с разной степенью успеха. Компании Meta✴, Anthropic и OpenAI не предоставили учёным комментариев и не сообщили, будут ли приняты меры для смягчения угрозы.

Метод состязательной атаки заключается в том, чтобы ввести путаницу в схемы защиты чувствительной информации. Для этого запрос формулируется таким образом, чтобы задача ставилась не напрямую, а иносказательно с добавлением текстового «мусора» — бессмысленных окончаний, наборов слов или просто бессвязного текста. В этом ключе поэзия — вершина иносказательности, подбора метафор и неожиданных фраз.

Для самостоятельно написанных в стихотворной форме запросов подробный ответ на «запрещёнку» последовал в 62 % случаев, тогда как на прямой запрос ИИ не отвечал. Для стихотворных запросов, сгенерированных ИИ, вероятность успеха составила 43 %. В некоторых случаях вероятность ответа превышала 90 %. Защитные механизмы ИИ пасуют перед такой атакой, заставляя большие языковые модели в некотором смысле творчески реагировать на запретный запрос, обходя точки срабатывания защиты.

Из этических соображений учёные не стали публиковать стихи, с помощью которых они выведали у чат-ботов рецепт изготовления атомной бомбы, коды вредоносного ПО и другое. Компаниям-разработчикам они порекомендовали укреплять защиту, переходя от поверхностных фильтров к более глубоким механизмам, учитывающим стилистические манипуляции словом.

Telegram снова оштрафован в России за неудаление запрещённого контента — теперь на ₽7 млн

25 ноября Таганский суд Москвы признал мессенджер Telegram виновным в неудалении запрещённой информации, содержащей призывы к осуществлению экстремистской деятельности или материалы с порнографическими изображениями несовершеннолетних в соответствии с ч. 2 ст. 13.41 КоАП РФ (неудаление владельцем сайта информации в случае, если обязанность по удалению такой информации предусмотрена законодательством РФ). Мессенджер оштрафован на ₽7 млн.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

Это далеко не первый случай несоблюдения мессенджером требований российского законодательства. 30 октября Таганский суд Москвы оштрафовал Telegram на ₽4 млн за неудаление нескольких каналов, авторы которых размещали запрещённый в РФ контент. Ранее в этом же месяце Telegram уже штрафовали на ₽4 млн в России за административное правонарушение по ч.2 ст. 13.41 КоАП РФ.

За аналогичное правонарушение Telegram также был оштрафован на ₽4 млн в августе этого года. В июле Таганский суд Москвы оштрафовал мессенджер на ₽3 млн за отказ удалять запрещённую в РФ информацию. В ноябре 2023 года мессенджер был оштрафован на ₽4 млн за отказ заблокировать запрещённый контент. Кроме того, в 2021 году мессенджер был несколько раз оштрафован за аналогичные нарушения на общую сумму ₽9 млн.

В течение последних лет крупнейшие интернет-платформы, такие как Apple, Google, Telegram, Facebook✴, Twitter, TikTok, фонд Wikimedia, неоднократно привлекались в России к ответственности за неудаление запрещённого контента. Нередко это происходит из-за отказа со стороны социальных сетей и мессенджеров удалять недостоверную, по мнению соответствующих ведомств, информацию.


window-new
Soft
Hard
Тренды 🔥
Microsoft объяснила, почему легендарная игра 3D Pinball исчезла из Windows 31 мин.
Новая статья: Agent 64: Spies Never Die — не время умирать. Рецензия 8 ч.
Всего 1 % игр в Steam собирает 84,5 % выручки, показало исследование 13 ч.
Седьмая утечка геймплея GTA VI показала ограбление заправок и систему повреждения машин 15 ч.
Claude улучшил результаты в три раза благодаря оболочке: Nvidia показала новый путь развития ИИ-агентов 17 ч.
Российский рекорд: впервые в истории весь топ-4 The International заняли команды из РФ 17 ч.
Утечки геймплея GTA VI вызвали в Rockstar переполох, но на планы студии не повлияли 18 ч.
Microsoft запустила приложение, которое делает Bing поиском по умолчанию во всех браузерах 19 ч.
DeepSeek представила экспериментальную мультимодальную ИИ-модель — она не уступает Claude Opus 4.8 22 ч.
Магазин на диване переродился: «Яндекс» начал тестировать функции шопинга на смарт-телевизорах 22 ч.
Anthropic собирается указать общественное неприятие ИИ в качестве фактора риска в своём проспекте для инвесторов 12 мин.
Тайвань успешно испытал первую самостоятельно разработанную зондирующую ракету Maraho 35 мин.
Nvidia поднимет цены на ИИ-ускорители на величину более 15 % со следующего года 59 мин.
Synology представила сетевые хранилища RackStation RS826RP+ и RS826+ формата 1U 11 ч.
Gigabyte представила 1U-серверы серии R165 на базе AMD EPYC Venice 11 ч.
Firefly Aerospace доставит на Луну «ядерную печку» — она будет согревать оборудование холодными лунными ночами 12 ч.
SpaceX в сотый раз запустила ракету Falcon в этом году — на орбиту доставлено ещё 27 спутников Starlink 16 ч.
Группировка Starlink разрослась до 11 тыс. спутников, похвастался Илон Маск 16 ч.
Sony Xperia 10 VIII показался на фото за несколько дней до анонса 16 ч.
Астрономы нашли невообразимо огромную галактику — она в 17 раз больше Млечного Пути 16 ч.