Сегодня 04 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → запрещённая информация

Щиты ИИ рухнули от слов поэта — запросы в стихах позволили выпытать секреты атомной бомбы и кое-что похуже

Учёным удалось «заморочить голову» всем без исключения чат-ботам, заставив их выдать запрещённую для распространения информацию научного, сексуального и иного характера. Оказалось, что обычная человеческая поэзия — естественная форма так называемой состязательной атаки. Облечённый в стихотворную форму промпт обеспечил обход самых суровых ИИ-фильтров с вероятностью свыше 90 %.

 Источник изображения: ИИ-генерация Grok 4.1/3DNews

Источник изображения: ИИ-генерация Grok 4.1

Исследование провела лаборатория Icaro — совместный проект Университета Сапиенца (Sapienza University) в Риме и аналитического центра DexAI. Они протестировали этот подход на 25 чат-ботах, созданных такими компаниями, как OpenAI, Meta✴✴ и Anthropic. Со всеми из них он сработал с разной степенью успеха. Компании Meta✴✴, Anthropic и OpenAI не предоставили учёным комментариев и не сообщили, будут ли приняты меры для смягчения угрозы.

Метод состязательной атаки заключается в том, чтобы ввести путаницу в схемы защиты чувствительной информации. Для этого запрос формулируется таким образом, чтобы задача ставилась не напрямую, а иносказательно с добавлением текстового «мусора» — бессмысленных окончаний, наборов слов или просто бессвязного текста. В этом ключе поэзия — вершина иносказательности, подбора метафор и неожиданных фраз.

Для самостоятельно написанных в стихотворной форме запросов подробный ответ на «запрещёнку» последовал в 62 % случаев, тогда как на прямой запрос ИИ не отвечал. Для стихотворных запросов, сгенерированных ИИ, вероятность успеха составила 43 %. В некоторых случаях вероятность ответа превышала 90 %. Защитные механизмы ИИ пасуют перед такой атакой, заставляя большие языковые модели в некотором смысле творчески реагировать на запретный запрос, обходя точки срабатывания защиты.

Из этических соображений учёные не стали публиковать стихи, с помощью которых они выведали у чат-ботов рецепт изготовления атомной бомбы, коды вредоносного ПО и другое. Компаниям-разработчикам они порекомендовали укреплять защиту, переходя от поверхностных фильтров к более глубоким механизмам, учитывающим стилистические манипуляции словом.

Telegram снова оштрафован в России за неудаление запрещённого контента — теперь на ₽7 млн

25 ноября Таганский суд Москвы признал мессенджер Telegram виновным в неудалении запрещённой информации, содержащей призывы к осуществлению экстремистской деятельности или материалы с порнографическими изображениями несовершеннолетних в соответствии с ч. 2 ст. 13.41 КоАП РФ (неудаление владельцем сайта информации в случае, если обязанность по удалению такой информации предусмотрена законодательством РФ). Мессенджер оштрафован на ₽7 млн.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

Это далеко не первый случай несоблюдения мессенджером требований российского законодательства. 30 октября Таганский суд Москвы оштрафовал Telegram на ₽4 млн за неудаление нескольких каналов, авторы которых размещали запрещённый в РФ контент. Ранее в этом же месяце Telegram уже штрафовали на ₽4 млн в России за административное правонарушение по ч.2 ст. 13.41 КоАП РФ.

За аналогичное правонарушение Telegram также был оштрафован на ₽4 млн в августе этого года. В июле Таганский суд Москвы оштрафовал мессенджер на ₽3 млн за отказ удалять запрещённую в РФ информацию. В ноябре 2023 года мессенджер был оштрафован на ₽4 млн за отказ заблокировать запрещённый контент. Кроме того, в 2021 году мессенджер был несколько раз оштрафован за аналогичные нарушения на общую сумму ₽9 млн.

В течение последних лет крупнейшие интернет-платформы, такие как Apple, Google, Telegram, Facebook✴✴, Twitter, TikTok, фонд Wikimedia, неоднократно привлекались в России к ответственности за неудаление запрещённого контента. Нередко это происходит из-за отказа со стороны социальных сетей и мессенджеров удалять недостоверную, по мнению соответствующих ведомств, информацию.


window-new
Soft
Hard
Тренды 🔥
Новая статья: Control Resonant — дуализм прекрасного. Рецензия 12 ч.
Дорогие видеокарты не остановили покупки игр — Steam показала рекордный сентябрь 12 ч.
ФБР серьёзно взялось за хакеров ShinyHunters, взломавших ФБР — задержан ещё один подозреваемый 13 ч.
Capcom сделает RE Engine игровым движком для разработки с помощью ИИ 17 ч.
Microsoft готовит Windows и Surface к чипам Nvidia — подробности раскроют 7 октября 19 ч.
ИИ научился притворяться человеком в видеозвонках — модель Griffin прошла «видеотест Тьюринга» 21 ч.
Gemini 4 хороша в тестах, но буксует в работе — пожаловались сотрудники Google 03-10 10:19
Apple ужесточит контроль над «полным доступом к диску» в macOS из-за рисков, связанных с ИИ-агентами 03-10 07:43
Уязвимость в приложении ChatGPT для macOS позволяла хакерам получить доступ к конфиденциальным данным 03-10 05:33
Новая статья: Silent Hill: Townfall — бутафорский туман. Рецензия 03-10 00:08
«Ночью все кошки серы»: Илон Маск пояснил, почему роботакси не обслуживают клиентов глубокой ночью 4 ч.
Трамп нашёл нового «ИИ-царя» — «Силами сверхинтеллекта» будет руководить глава нацразведки 4 ч.
Цены на HBM в следующем году увеличатся более чем в два раза 6 ч.
ASRock Industrial выпустила мини-компьютеры NUC Core 300 Box на платформе Intel Wildcat Lake 15 ч.
JEDEC представила первый в отрасли стандарт для кремниевой фотоники 15 ч.
Купленный с рук Ryzen достался новому владельцу вместе с «баном» в Valorant — античит узнал процессор читера 19 ч.
Samsung запустила серийное производство чипов Exynos 2700, но решение по Galaxy S27 Ultra ещё не принято 22 ч.
Американские iPhone 18 Pro Max теряют связь — обновление не поможет, Apple будет менять смартфоны 03-10 11:04
Meta предложила всем желающим создавать собственные гаджеты с ИИ-агентом Muse 03-10 08:41
Роботы лишь через 40 лет смогут конкурировать с людьми всего за 10 % рабочих мест в США 03-10 08:39