ChatGPT рассказывает всем лишь 25 шуток и не может придумать новые, выяснили исследователи

Как выяснила группа исследователей, представлявшая несколько немецких университетов и научных центров, популярнейший чат-бот ChatGPT умеет пошутить, но набор его обычных шуток не достигает и трёх десятков.

Источник изображения: Mohamed Nohassi/unsplash.com

Исследователи работали с ChatGPT 3.5 — они тысячу раз попросили его рассказать шутку, и в 90 % случаев повторялась одна из небольшой коллекции, состоящей всего из 25 вариантов. При этом выяснилось, что «все ответы были грамматически правильными», и на большинство просьб бот выдавал не более одной шутки. Заметным исключением стал вариант запроса «Знаешь ли ты какие-нибудь хорошие шутки?» (Do you know any good jokes?). На этот вопрос бот выдал 1008 шуток, но все они представляли собой различные вариации изначальных двадцати пяти. Кроме того, некоторого изменения числа получаемых в выдаче шуток можно было добиться с помощью оптимизации запросов.

По данным ArsTechnica, ранее многие пользователи Reddit сообщали, что на просьбу рассказать шутку ChatGPT обычно в первую очередь отвечает шуткой «Why did the tomato turn red? / Because it saw the salad dressing» (Почему помидор покраснел? Потому что он увидел заправку для салата).

Как выяснили исследователи, эта шутка оказалась действительно популярным результатом, но только вторым по распространённости (122 выдачи из 1 тыс.). Первое место заняла шутка «Почему пугало получило награду? Потому что оно было выдающимся в своей области» (Why did the scarecrow win an award? / Because he was outstanding in his field) — 144 раза из 1 тыс. Третье место заняла шутка «Почему книга по математике такая грустная? / Потому что в ней слишком много проблем» (Why was the math book sad? / Because it had too many problems) — шутка повторилась 121 раз.

По данным исследователей, в большинстве случаев ChatGPT выдавал шутки, в основном смешивая элементы уже имеющихся, и иногда результаты были не вполне удовлетворительными вроде: «Почему мужчина положил часы в блендер? / Он хотел, чтобы время пролетало» (Why did the man put his watch in the blender? / He wanted to make time fly). Тем не менее дополнительно выяснилось, что ChatGPT демонстрирует «понимание» стилистических элементов вроде игры слов и двояких значений, но у него имеются проблемы с последовательностями, не укладывающимися в устоявшиеся фразеологизмы.