Сегодня 02 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Нейросеть YandexGPT 2 успешно сдала ЕГЭ по литературе

Разработанная «Яндексом» большая языковая модель YandexGPT 2 справилась с несколькими вариантами ЕГЭ по литературе, получив усреднённую оценку 55 баллов. Это выше минимального порога, необходимого для поступления в вуз (40 баллов) и близко к средней оценке (64 балла), которую получают российские школьники, когда выбирают данный предмет и специально готовятся к экзамену.

 Источник изображений: «Яндекс»

Источник изображений: «Яндекс»

ЕГЭ по литературе содержит несколько испытаний разного рода: вопросы на эрудицию, а также задания для оценки стиля письма и творческих способностей. Для нейросети это непростая задача, но YandexGPT 2 выдержала все испытания: в первой части экзамена она проанализировала произведение и ответила на вопросы о нём, а во второй — написала сочинение на предложенную тему.

В рамках испытания специалисты «Яндекса» получили в Московском центре непрерывного математического образования варианты настоящего ЕГЭ по литературе, которые использовались на тренировочных экзаменах с 2021 по 2023 гг., и удостоверились, что в массиве использованных при обучении YandexGPT 2 данных ответов на эти вопросы нет. Таким образом, нейросеть работала с заданиями наравне с любым школьником, выбирая предложенные варианты и генерируя ответы на открытые вопросы. Проверку проводили официальные эксперты ЕГЭ по литературе.

Разница между сдающими ЕГЭ школьниками и YandexGPT 2 в том, что первые специально готовятся к сдаче, то есть погружаются в специфику предмета, тогда как нейросеть работала скорее экспромтом — схожим образом сдаёт школьные экзамены взрослый человек, опираясь только на накопленные знания. Стандартным способом проверки нейросетей является тест MMLU (Massive Multitask Language Understanding) — он включает вопросы из 57 областей, но не предусматривает оценки ответов на открытые вопросы или написания творческих заданий. Поэтому в «Яндексе» остановились на ЕГЭ по литературе.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Картинки в стиле Ghibli перегрузили серверы OpenAI — выпуск новых функций замедлен 7 ч.
У Ubisoft пока нет чёткого плана работы новой компании с Tencent — инвесторы и сотрудники нервничают 9 ч.
«Загрузки быстрее, чем в Doom (2016)»: эксперт Digital Foundry остался в восторге от Doom: The Dark Ages 10 ч.
Консоли задержат релиз постапокалиптического стелс-экшена Steel Seed от создателей Close to the Sun — объявлена новая дата выхода 11 ч.
Всего за несколько дней в Atomfall сыграло более 1,5 миллиона человек — это лучший старт в 32-летней истории разработчиков 12 ч.
ИИ-модель Llama запустили на ПК из прошлого тысячелетия на базе Windows 98 12 ч.
Telegram продал виртуальных первоапрельских кирпичей почти на 100 млн рублей 12 ч.
Nintendo подтвердила рекордную продолжительность презентации Switch 2 и устроит две демонстрации игр для консоли 13 ч.
ChatGPT остаётся самым популярным чат-ботом с ИИ, но у конкурентов аудитория тоже растёт 14 ч.
Google сделает сквозное шифрование в Gmail доступным для всех 14 ч.