Твиты нейросети GPT-3 оказались более убедительными, чем посты реальных людей

Судя по результатам исследования, проведённого учёными Института биомедицинской этики и истории медицины в составе Университета Цюриха в Швейцарии, твиты, созданные большой языковой моделью GPT-3 компании OpenAI, оказались убедительнее, чем посты настоящих людей. При этом GPT-3 — это далеко не самая современная версия модели.

Источник изображения: OpenAI

Авторы исследования попросили участников опроса отличить твиты, написанные людьми, от сгенерированных ИИ. Кроме того, необходимо было решить, верна ли та или иная опубликованная информация, в том числе контент, связанный с вызывающими споры темами вроде эффективности вакцин и климатических изменений, часто используемых для массовых манипуляций общественным мнением в Сети.

Оказалось, что дезинформацию труднее выявить, если она написана ботами. При этом как это ни парадоксально, достоверную информацию, написанную ботами, легче распознавать. Другими словами, люди, участвовавшие в исследовании, охотнее верили ИИ, чем другим людям, независимо от того, насколько точными на самом деле были сведения — это свидетельствует о том, каким опасным могут стать языковые модели при их использовании для дезинформации.

Исследователи выбрали 11 научных тем, обсуждавшихся в Twitter, включая тему вакцин и COVID-19, климатические изменения и теорию эволюции, после чего поставили GPT-3 задачу создавать посты с верной или ложной информацией. После этого были опрошены более 600 англоговорящих респондентов из США, Великобритании, Канады, Австралии и Ирландии — созданный GPT-3 контент оказался неотличимым от созданного людьми. При этом сами исследователи не были на 100 % уверены в том, что «органический» контент, собранный из социальной сети для сравнения, не был написан сервисами вроде ChatGPT. Кроме того, участникам опроса предлагалось оценивать посты «вне контекста» — они не видели профиля автора, что, возможно, помогло бы им сделать верный вывод, поскольку даже прошлые посты в ленте аккаунта и изображение в профиле могут дать подсказку о его природе.

Успешнее всего участники могли отличать дезинформацию, написанную реальными пользователями Twitter, а GPT-3 убеждала пользователей несколько эффективнее. Стоит помнить, что уже существуют как минимум модели GPT-3.5 и GPT-4, которые справляются с разнообразными задачами ещё лучше. При этом оказалось, что GPT-3 хуже справляется с оценкой твитов, чем люди, по крайней мере, в некоторых случаях. Так, при выявлении верной информации в постах GPT-3 показал себя хуже, чем люди, а при обнаружении дезинформации ИИ и люди справлялись примерно одинаково.

Возможно, дальнейшее совершенствование механизмов безопасности языковых моделей помешает создавать вредоносный контент с их помощью. Так, GPT-3 иногда отказывалась генерировать недостоверные материалы по заданию учёных, в частности, о вакцинах и аутизме. Вероятно, дело в том, что при тренировке использовалось много данных, посвящённых разоблачению конспирологических теорий. Впрочем, по мнению исследователей, лучшим инструментом распознавания ложной информации пока по-прежнему остаётся человеческие здравый смысл и критическое отношение к любой предлагаемой информации.