Популярный лайфхак для ИИ оказался вредным: просьба «представь себя экспертом» ухудшает ответы

Запросы к системам искусственного интеллекта, в которых чат-ботам предлагается примерить на себя образ профессионала, могут снизить качество генерируемого контента, в том числе программного кода. К такому выводу пришли учёные Университета Южной Калифорнии в своём исследовании.

Обзор Intel Core Ultra 5 250K Plus, или Как Arrow Lake превратился в «топ за свои деньги»

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

72 полёта над Марсом: как Ingenuity пережил зиму, сбои и собственную миссию

Ryzen и DDR5-6000 на чипах Samsung — G.Skill даёт добро

Обзор Intel Core Ultra 7 270K Plus — лучший Arrow Lake за полцены

Источник изображения: Steve Johnson / unsplash.com

Ещё в 2023 году, в момент становления бума ИИ, исследователи рекомендовали начинать запрос к чат-ботам на генерацию программного кода с фраз вроде: «Ты — опытный программист в области машинного обучения». Считалось, что это способно повысить качество программного кода в ответе. Подобные рекомендации встречаются и теперь, но в новом исследовании учёные установили, что эффективность запросов с установкой ролевой модели зависит от поставленной задачи. Если речь идёт о задачах, связанных с материалами предварительного обучения, такими как математика или программирование, то качество ответа может, напротив, снизиться.

Причина заключается в том, что упоминание профессиональной роли в запросе на самом деле не добавляет ей никаких экспертных знаний — объёмы обучающих данных остаются теми же. А при обращении к материалам, полученным на этапе предварительного обучения, установка ролевой модели может стать даже препятствием. Это подтвердилось при прохождении популярного теста MMLU (Massive Multitask Language Understanding): с установкой роли эксперта в запросе качество ответов снизилось по всем четырём категориям, а общая точность снизилась с 71,6 % до 68,0 %.

Выбор ролевой модели повышает вероятность того, что ИИ даст ответ, которого ожидает пользователь, и это может отрицательно сказаться на качестве непосредственно поставленной задачи, потому что ИИ больше стремится соответствовать поставленной роли. В случае написания программного кода ролевая модель, однако, способствует более детальной и качественной проработке пользовательского интерфейса, архитектуры проекта и выбору инструментов. Для решения поставленной проблемы учёные предложили схему PRISM (Persona Routing via Intent-based Self-Modeling), при которой ИИ автоматически выбирает ролевую модель или просто генерирует контент по запросу — в зависимости от типа поставленной задачи подключается механизм основе низкоранговой адаптации LoRA. «Если вам важнее соответствие требованиям (безопасности, правилам, установленной структуре и т. д.), конкретизируйте их; если же важнее точность и факты, просто отправляйте запрос», — заключили учёные.