Популярный лайфхак для ИИ оказался вредным: просьба «представь себя экспертом» ухудшает ответы

Запросы к системам искусственного интеллекта, в которых чат-ботам предлагается примерить на себя образ профессионала, могут снизить качество генерируемого контента, в том числе программного кода. К такому выводу пришли учёные Университета Южной Калифорнии в своём исследовании.

Обзор Apple MacBook Neo: удивительно хороший ноутбук с процессором от iPhone

Гид по выбору OLED-монитора в 2026 году: эволюция в деталях

Ryzen и 16 Гбайт DDR5: как сэкономить на памяти так, чтобы не лишиться 15 % производительности

Обзор ноутбука HONOR MagicBook X16 2026: как раньше, только лучше

Компьютер месяца, спецвыпуск: эпоха отката, или Как дефицит чипов памяти влияет на выбор железа для игрового ПК

Обзор Ryzen 7 9850X3D: три процента за двадцать баксов

Обзор Samsung Galaxy Z TriFold: тройной складной смартфон по цене квартиры в Воркуте

Источник изображения: Steve Johnson / unsplash.com

Ещё в 2023 году, в момент становления бума ИИ, исследователи рекомендовали начинать запрос к чат-ботам на генерацию программного кода с фраз вроде: «Ты — опытный программист в области машинного обучения». Считалось, что это способно повысить качество программного кода в ответе. Подобные рекомендации встречаются и теперь, но в новом исследовании учёные установили, что эффективность запросов с установкой ролевой модели зависит от поставленной задачи. Если речь идёт о задачах, связанных с материалами предварительного обучения, такими как математика или программирование, то качество ответа может, напротив, снизиться.

Причина заключается в том, что упоминание профессиональной роли в запросе на самом деле не добавляет ей никаких экспертных знаний — объёмы обучающих данных остаются теми же. А при обращении к материалам, полученным на этапе предварительного обучения, установка ролевой модели может стать даже препятствием. Это подтвердилось при прохождении популярного теста MMLU (Massive Multitask Language Understanding): с установкой роли эксперта в запросе качество ответов снизилось по всем четырём категориям, а общая точность снизилась с 71,6 % до 68,0 %.

Выбор ролевой модели повышает вероятность того, что ИИ даст ответ, которого ожидает пользователь, и это может отрицательно сказаться на качестве непосредственно поставленной задачи, потому что ИИ больше стремится соответствовать поставленной роли. В случае написания программного кода ролевая модель, однако, способствует более детальной и качественной проработке пользовательского интерфейса, архитектуры проекта и выбору инструментов. Для решения поставленной проблемы учёные предложили схему PRISM (Persona Routing via Intent-based Self-Modeling), при которой ИИ автоматически выбирает ролевую модель или просто генерирует контент по запросу — в зависимости от типа поставленной задачи подключается механизм основе низкоранговой адаптации LoRA. «Если вам важнее соответствие требованиям (безопасности, правилам, установленной структуре и т. д.), конкретизируйте их; если же важнее точность и факты, просто отправляйте запрос», — заключили учёные.