Reddit заблокировала учёных за тайный эксперимент с ИИ-ботами в дискуссиях

Платформа Reddit навсегда заблокировала группу исследователей из Цюрихского университета после того, как выяснилось, что те несколько месяцев тайно использовали ИИ-ботов для психологического воздействия на пользователей. Эксперимент, который сами учёные назвали «изучением убедительности нейросетей», привёл к скандалу, а Reddit теперь рассматривает возможность подачи судебного иска.

В рамках исследования боты выдавали себя за психолога-консультанта и жертву насилия. Они оставили более 1,7 тысячи комментариев в сообществе r/changemymind и набрали свыше 10 тысяч кармы, прежде чем их раскрыли, пишет издание The Verge. При этом главный юрист Reddit Бен Ли (Ben Lee) назвал эксперимент не только противозаконным, но и неэтичным.

Согласно данным, которые успели попасть в сеть, боты использовали модели GPT-4o, Claude 3.5 Sonnet и Llama 3.1-405B. Они анализировали историю постов пользователей, чтобы подбирать максимально убедительные аргументы. «Во всех случаях наши боты генерировали комментарии, основанные на последних 100 публикациях и репликах автора», — говорится в документе.

Исследователи заявили, что вручную удаляли посты, если те распознавались как этически проблемные или явно указывали на то, что их написал ИИ-бот, то есть по факту скрывали следы своего эксперимента. Более того, в запросах для нейросетей они утверждали, будто пользователи Reddit дали согласие на участие в эксперименте, хотя на самом деле этого не было.

В ходе исследования, хоть и нелегального, было обнаружено, что боты действительно оказались во много раз эффективнее людей в плане убеждения и с лёгкостью воздействовали на мнение собеседника. По мнению авторов работы, ИИ-боты могут использоваться для вмешательства в выборы или манипуляции общественным мнением, если попадут в руки злоумышленников.

Исследователи рекомендуют онлайн-платформам разрабатывать надёжные механизмы проверки контента, создаваемого искусственным интеллектом. Однако по иронии судьбы само исследование стало примером злонамеренных действий и манипуляций.