Stack Overflow временно запретил публиковать подсказки программистам от ИИ-бота ChatGPT — он часто обманывает

Сайт Stack Overflow, предназначенный для организации взаимопомощи программистам, временно запретил пользователям публикацию справочных материалов, сгенерированных чат-ботом ChatGPT. По словам модераторов, создавать подсказки с помощью искусственного интеллекта ChatGPT слишком легко, и они выглядят весьма правдоподобно. Тем не менее, очень часто они неправильные.

Чат-бот ChatGPT — экспериментальное решение, разработанное компанией OpenAI на основе генератора текстов GPT-3.5. Сетевая демо-версия продукта была представлена на прошлой неделе и с тех пор активно используется пользователями. Проблема в том, что бот способен решать массу задач, от написания стихов и песен до сценариев и формулирования ответов на задаваемые вопросы, но при всей убедительности текстов, они очень часто содержат грубые ошибки, особенно когда речь идёт о темах, посвящённых работе с программным кодом. Впрочем, ошибки совершаются и в других сферах: составляя биографию известной личности, ChatGPT способен вставлять в текст некорректные данные. Таким же образом он создаёт вполне «правдоподобный», но неработающий код.

В основу ChatGPT положены большие языковые модели (Large Language Model, LLM). Они анализируют огромные массивы текстов, формируют закономерности и на их основе предлагают собственные решения, буквально предугадывая, каким должно быть следующее слово в предложении. Такие модели не имеют точного представления о работе некоторых систем, в результате чего фактически генерируется недостоверная информация. Пока трудно оценить, какая часть подготовленных ими материалов недостоверна. В Stack Overflow решили, что риск дезинформации пользователей слишком велик. При этом многие эксперты опасаются, что с ростом числа сгенерированных неверных ответов растёт и риск того, что ими поделятся в Сети, погружая последнюю в хаос — контент, созданный реальными пользователями, просто утонет в море сгенерированных материалов.

Пока данных о вреде, наносимом LLM в реальном мире, немного, но события на Stack Overflow служат подтверждением существования пугающей тенденции. По словам модераторов, до введения запрета на ChatGPT на площадке уже появились тысячи сгенерированных ответов, каждый из которых требует детальной проверки.

Эксперты опасаются, что ситуация повторится и на других платформах — лавина сгенерированного ИИ контента не позволит ознакомиться с мнениями настоящих пользователей.

Пользователи Stack Overflow поддержали запрет, хотя отметили, что распознать «искусственный» контент будет непросто. Совета спросили и у самого ChatGPT. В ходе многочисленных экспериментов тот выдал вполне разумный ответ. «В целом, разрешать ли сгенерированные ИИ ответы на Stack Overflow — сложное решение, которое должно осторожно рассматриваться сообществом», — заявил бот.