MWC 2018
2018
Computex
IFA 2018
Исследователи из французской компании Giskard, занимающейся тестированием искусственного интеллекта, пришли к выводу, что чем короче ответы ChatGPT и других ИИ-помощников, тем выше вероятность выдачи недостоверной информации. Такие запросы, как «ответь кратко» или «объясни в двух предложениях» заставляют модели привирать и быть неточными.
Источник изображения: AI
Как пишет TechCrunch, в ходе исследования специалисты проанализировали поведение популярных языковых моделей, включая GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet от Anthropic и установили, что при запросах на краткие ответы, особенно по неоднозначным или спорным темам, модели чаще выдают ошибочную информацию. «Наши данные показывают, что даже простые изменения в инструкциях значительно влияют на склонность моделей к галлюцинациям», — отметили в Giskard.
Галлюцинации остаются одной из главных нерешённых проблем в области генеративного ИИ. Даже передовые модели, основанные на вероятностных алгоритмах, могут придумывать несуществующие факты. По словам авторов исследования, новые модели, ориентированные на рассуждение, такие как o3 от OpenAI, склонны к галлюцинациям даже чаще, чем их предшественники, что не может не снижать доверие к их ответам.
Отмечается, что одной из причин повышенной склонности к ошибкам является ограниченность пространства для объяснений. Когда модель просят быть краткой, она не может полностью раскрыть тему и опровергнуть ложные предпосылки в запросе. Однако этот момент очень важен для разработчиков кода, поскольку промпт, содержащий инструкцию типа «будь кратким» может навредить качеству ответа.
Кроме того, было замечено, что модели реже опровергают спорные утверждения, если их высказывают уверенно. Также оказалось, что те ИИ, которые пользователи чаще оценивают как удобные или приятные в общении, не всегда отличаются высокой степенью точности ответов.
Эксперты из Giskard советуют тщательнее подбирать инструкции для ИИ и избегать строгих ограничений на длину ответов. «Кажущиеся безобидными подсказки вроде "будь лаконичным" могут незаметно ухудшить качество информации», — предупреждают они.
Источник:
