ChatGPT «по собственной воле» стал генерировать изображения интимного и насильственного характера

Последняя публичная версия чат-бота с искусственным интеллектом ChatGPT оказалась способной генерировать изображения деликатного характера или сцены насилия в ответ на простой запрос, установили исследователи из британской компании Mindgard.

Специалисты британского стартапа Mindgard, который занимается поиском уязвимостей в системах ИИ, нашли способ, как заставить ChatGPT создавать изображения с недопустимым содержимым, немного изменив некий широко распространённый запрос, первоначально разработанный для получения результатов юмористического характера. Особенно тревожным оказалось то, что в запросе не указывается тематика изображений, и ИИ «по собственной воле» создаёт явно недопустимые кровавые и деликатные изображения. В одном случае это был мужчина с серьёзной травмой головы, в другом — окровавленная женщина, на которой был минимум одежды.

На изображениях присутствовали взрослые люди, чьи образы были сгенерированы ИИ, но, как показали предыдущие исследования Mindgard, ChatGPT можно обманным путём заставить создавать дипфейки реальных обнажённых людей, подставляя их лица. Не исключается, что ИИ способен создавать картинки ещё более шокирующего содержания, если исследователи потратят на эту задачу больше времени. Результаты работы ChatGPT отражают данные, которые использовались в его разработке и обучении — генерируемый ИИ недопустимый контент «имеет связи с реальными изображениями и реальным миром», подчёркивают эксперты.

Результаты своей работы специалисты Mindgard раскрыли компании OpenAI в мае, но в ответ получили отписку. Когда инцидент был предан огласке, разработчик всё-таки отреагировал. «Изучив эту тенденцию, мы ввели дополнительные меры защиты от запросов такого рода. <..> Мы также сочетаем автоматизированные системы и проверку человеком для выявления и блокировки вредоносных материалов», — заявил представитель OpenAI и добавил, что в системах компании имеется многоуровневая защита, предназначенная для предотвращения показа пользователям изображений, нарушающих её политику. Исследователи, однако, обратили внимание, что и после внесения изменений ChatGPT в ответ на проблемный запрос по-прежнему выдавал вызывающий опасения контент. Содержание запроса по понятным причинам не раскрывается.

Настоящая проблема в том, указывают эксперты, что модели ИИ не понимают, как люди, что они создают, и чего разработчики просят их не делать. «Модели не понимают намерений. Они не понимают контекста. Они не понимают принципов, правильного и неправильного», — напоминают учёные. Поэтому внедрение защитных механизмов и средств их обхода — это «игра в кошки-мышки»: по мере совершенствования одних более изощрёнными становятся и другие.