Популярный лайфхак для ИИ оказался вредным: просьба «представь себя экспертом» ухудшает ответы

Запросы к системам искусственного интеллекта, в которых чат-ботам предлагается примерить на себя образ профессионала, могут снизить качество генерируемого контента, в том числе программного кода. К такому выводу пришли учёные Университета Южной Калифорнии в своём исследовании.

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Infinix GT 50 Pro: геймерский смартфон со встроенной СЖО

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Репортаж с IEM Cologne Major 2026: Жаб Жабыч, триумф NiKo и главные сенсации мейджора по CS2

Умные помощники: обзор ИИ-сервисов для обработки изображений. Часть 2, актуализированная

Источник изображения: Steve Johnson / unsplash.com

Ещё в 2023 году, в момент становления бума ИИ, исследователи рекомендовали начинать запрос к чат-ботам на генерацию программного кода с фраз вроде: «Ты — опытный программист в области машинного обучения». Считалось, что это способно повысить качество программного кода в ответе. Подобные рекомендации встречаются и теперь, но в новом исследовании учёные установили, что эффективность запросов с установкой ролевой модели зависит от поставленной задачи. Если речь идёт о задачах, связанных с материалами предварительного обучения, такими как математика или программирование, то качество ответа может, напротив, снизиться.

Причина заключается в том, что упоминание профессиональной роли в запросе на самом деле не добавляет ей никаких экспертных знаний — объёмы обучающих данных остаются теми же. А при обращении к материалам, полученным на этапе предварительного обучения, установка ролевой модели может стать даже препятствием. Это подтвердилось при прохождении популярного теста MMLU (Massive Multitask Language Understanding): с установкой роли эксперта в запросе качество ответов снизилось по всем четырём категориям, а общая точность снизилась с 71,6 % до 68,0 %.

Выбор ролевой модели повышает вероятность того, что ИИ даст ответ, которого ожидает пользователь, и это может отрицательно сказаться на качестве непосредственно поставленной задачи, потому что ИИ больше стремится соответствовать поставленной роли. В случае написания программного кода ролевая модель, однако, способствует более детальной и качественной проработке пользовательского интерфейса, архитектуры проекта и выбору инструментов. Для решения поставленной проблемы учёные предложили схему PRISM (Persona Routing via Intent-based Self-Modeling), при которой ИИ автоматически выбирает ролевую модель или просто генерирует контент по запросу — в зависимости от типа поставленной задачи подключается механизм основе низкоранговой адаптации LoRA. «Если вам важнее соответствие требованиям (безопасности, правилам, установленной структуре и т. д.), конкретизируйте их; если же важнее точность и факты, просто отправляйте запрос», — заключили учёные.