MWC 2018
2018
Computex
IFA 2018
Запросы к системам искусственного интеллекта, в которых чат-ботам предлагается примерить на себя образ профессионала, могут снизить качество генерируемого контента, в том числе программного кода. К такому выводу пришли учёные Университета Южной Калифорнии в своём исследовании.
Источник изображения: Steve Johnson / unsplash.com
Ещё в 2023 году, в момент становления бума ИИ, исследователи рекомендовали начинать запрос к чат-ботам на генерацию программного кода с фраз вроде: «Ты — опытный программист в области машинного обучения». Считалось, что это способно повысить качество программного кода в ответе. Подобные рекомендации встречаются и теперь, но в новом исследовании учёные установили, что эффективность запросов с установкой ролевой модели зависит от поставленной задачи. Если речь идёт о задачах, связанных с материалами предварительного обучения, такими как математика или программирование, то качество ответа может, напротив, снизиться.
Причина заключается в том, что упоминание профессиональной роли в запросе на самом деле не добавляет ей никаких экспертных знаний — объёмы обучающих данных остаются теми же. А при обращении к материалам, полученным на этапе предварительного обучения, установка ролевой модели может стать даже препятствием. Это подтвердилось при прохождении популярного теста MMLU (Massive Multitask Language Understanding): с установкой роли эксперта в запросе качество ответов снизилось по всем четырём категориям, а общая точность снизилась с 71,6 % до 68,0 %.
Выбор ролевой модели повышает вероятность того, что ИИ даст ответ, которого ожидает пользователь, и это может отрицательно сказаться на качестве непосредственно поставленной задачи, потому что ИИ больше стремится соответствовать поставленной роли. В случае написания программного кода ролевая модель, однако, способствует более детальной и качественной проработке пользовательского интерфейса, архитектуры проекта и выбору инструментов. Для решения поставленной проблемы учёные предложили схему PRISM (Persona Routing via Intent-based Self-Modeling), при которой ИИ автоматически выбирает ролевую модель или просто генерирует контент по запросу — в зависимости от типа поставленной задачи подключается механизм основе низкоранговой адаптации LoRA. «Если вам важнее соответствие требованиям (безопасности, правилам, установленной структуре и т. д.), конкретизируйте их; если же важнее точность и факты, просто отправляйте запрос», — заключили учёные.
Источник:
