Нейросети Chat GPT и Sage не смогли сдать «на отлично» российский университетский экзамен по истории

Историки Уральского федерального университета (УрФУ) провели эксперимент, который выявил слабости нейросетей Chat GPT и Sage, сообщает ТАСС со ссылкой на пресс-службу учебного заведения. По словам учёных, нейросети не могут сдать вузовский экзамен по истории «на отлично», поскольку не воспринимают нюансы языков разных эпох и к тому же заполняют пробелы в знаниях выдуманными фактами.

Источник изображения: Pixabay

В вузе отметили, что нейросети проявили компетентность в ответах на вопросы, связанные с использованием устойчивой общей научной терминологии. Однако они владеют только современным русским языком и не воспринимают нюансы языков разных эпох. А ведь историку помимо современного русского языка приходится иметь дело с его версиями нескольких эпох, включая терминологию XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XX века.

Принимавший «экзамен» доцент кафедры истории России УрФУ Михаил Киселев поставил нейросетям «тройку», назвав их «студентом-импровизатором». Преподаватель отметил, что «там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, попросту выдумывая факты, несуществующие работы или авторов».

Например, на просьбу назвать историков, которые писали о завещании Василия III, обе нейросети сначала заявили, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных учёных, авторов обобщающих работ по истории России, хотя правильный ответ легко найти в поисковых системах.

«Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу “История Российского государства”. Если представить, что такая беседа велась на экзамене, то можно сказать, что студент “поплыл” из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — рассказал Киселев.