Сегодня 22 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Интеллектуальные способности ChatGPT деградировали из-за попыток его улучшить, выяснили учёные

Учёные сообщили об очередной проблеме, которая может преследовать чат-боты, основанные на платформах искусственного интеллекта — этот феномен называется «дрейфом» (drift), и он отражает деградацию интеллектуальных способностей системы.

 Источник изображения: D koi / unsplash.com

Источник изображения: D koi / unsplash.com

Дебютировавший в прошлом году ChatGPT произвёл настоящую революцию в области искусственного интеллекта и даже косвенно способствовал разразившейся в Голливуде забастовке сценаристов. Но опубликованное учёными Стэнфордского университета и Калифорнийского университета в Беркли (США) исследование указывает на новую проблему ИИ: ChatGPT стал хуже выполнять некоторые элементарные математические операции. Этот феномен известен как «дрейф»: попытка усовершенствовать одну часть сложной модели ИИ приводит к ухудшению работы других её областей. И это, отмечают исследователи, значительно усложняет непрерывное совершенствование нейросетей.

Учёные пришли к такому выводу, когда протестировали две версии GPT: доступную для всех бесплатно 3.5; и 4.0, работать с которой можно только при наличии платной подписки. Чат-боту предложили элементарную задачу: определить, является ли определённое число простым. Простым, напомним, называется натуральное число, которое делится только на единицу и на себя. Если число достаточно большое, то человек не может оценить, является ли оно простым, в уме. А вот компьютер может справиться с этой задачей методом грубой силы: проверить его делимость на 2, 3, 5 и т. д. Основу теста составила выборка из 1000 чисел. В марте доступный по премиум-подписке GPT-4 давал правильные ответы в 84 % случаев, и это уже сомнительный результат для компьютера, но к июню доля правильных ответов рухнула до 51 %.

 Источник изображения: wsj.com

Источник изображения: wsj.com

В общем случае GPT-4 продемонстрировал деградацию в шести задачах из восьми. GPT-3.5, напротив, по шести задачам продемонстрировал прогресс, но в большинстве остался слабее своего продвинутого собрата. Повышение числа неправильных ответов отметили многие пользователи чат-ботов, и, согласно выводам учёных Стэнфорда и Беркли, это не субъективные ощущения — деградация подтверждается эмпирическими данными. «Когда мы выпускаем новые версии моделей, наш приоритет — сделать новые модели умнее по всем направлениям. Мы прилагаем усилия, чтобы новые версии совершенствовались во всём спектре задач. При этом наша методология оценки несовершенна, и мы её постоянно улучшаем», — прокомментировали научную работу в OpenAI.

О тотальной деградации моделей ИИ речи не идёт: в ряде тестов менее точный в целом GPT-3.5 показал прогресс, а GPT-4 свои результаты ухудшил. Помимо математических задач, исследователи предлагали чат-ботам ответить на 1500 вопросов. И если в марте чат-бот на базе GPT-4 отвечал на 98 % вопросов, то в июне давал ответы только на 23 %, и зачастую они оказывались слишком короткими: ИИ заявлял, что вопрос был субъективным, и собственного мнения у него нет.

Учёные Стэнфорда и Беркли говорят, что в своём исследовании они не призывают отказаться от технологий ИИ — это скорее пристальное наблюдение за их динамикой. Человек привык воспринимать знания как решение ряда задач, где каждая последующая основывается на предыдущей. В случае с ИИ схема оказывается другой: одному шагу вперёд соответствует шаг назад или в другом непредсказуемом направлении. ИИ-сервисы, вероятно, продолжат развиваться, но их путешествие будет проходить не по прямой линии.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Deltarune — сила в добре. Рецензия 2 ч.
20 минут геймплея The Blood of Dawnwalker — амбициозной вампирской RPG от ведущих разработчиков The Witcher 3 и Cyberpunk 2077 3 ч.
Новая статья: Gamesblender № 731: процессор AMD в следующей Xbox, анонс ремейка Silent Hill и худшая игра года 3 ч.
В драйвере ISA-звуковой карты Creative Sound Blaster AWE32 исправили ошибку, найденную 25 лет назад 3 ч.
Би-би-си угрожает Perplexity судом из-за нарушения авторских прав при обучении нейросетей 4 ч.
Китайская MiniMax представила ИИ-модель M1 — её обучение обошлось в 200 раз дешевле GPT-4 7 ч.
Акционеры обвинили Apple в обмане относительно сроков выхода обновлённого Siri на базе ИИ 12 ч.
«Крупнейшая утечка в истории» оказалась устаревшим сборником архивов паролей 15 ч.
Sega случайно раскрыла актуальные продажи последних Persona, Yakuza, Sonic и Total War, а Persona 4 Revival придётся подождать 16 ч.
Для достижения своих целей продвинутые модели ИИ будут хитрить, обманывать и воровать 18 ч.
Xsight Labs выпустила DPU E1 с 64 ядрами Arm Neoverse N2 и 40 линиями PCIe 5.0 3 ч.
Hisense представила для российского рынка новейшие телевизоры, проекторы и многое другое 4 ч.
TP-Link выпустила водонепроницаемый роутер EAP772-Outdoor с поддержкой Wi-Fi 7 7 ч.
Наблюдатели заметили секретную встречу китайских спутников в космосе — возможно, для дозаправки 10 ч.
Transcend выпустила индустриальные SATA SSD серии SSD475P вместимостью до 8 Тбайт 11 ч.
Крупнейший в мире квантовый компьютер на сверхпроводящих кубитах запущен в Японии 13 ч.
Межпланетная станция NASA «Психея» поддала газу и ускорилась по направлению к Марсу 15 ч.
Meta выпустит VR-гарнитуру Quest 3S Xbox Edition на следующей неделе 15 ч.
Через 10 лет ИИ-ускорители получат терабайты HBM и будут потреблять 15 кВт — это изменит подход к проектированию, питанию и охлаждению ЦОД 18 ч.
В роботакси Tesla нельзя будет попасть просто с улицы, а страхующий оператор всегда будет сидеть в кресле переднего пассажира 19 ч.