Сегодня 31 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-боты начинают чаще привирать, когда их просят о лаконичных ответах — исследование

Исследователи из французской компании Giskard, занимающейся тестированием искусственного интеллекта, пришли к выводу, что чем короче ответы ChatGPT и других ИИ-помощников, тем выше вероятность выдачи недостоверной информации. Такие запросы, как «ответь кратко» или «объясни в двух предложениях» заставляют модели привирать и быть неточными.

 Источник изображения: AI

Источник изображения: AI

Как пишет TechCrunch, в ходе исследования специалисты проанализировали поведение популярных языковых моделей, включая GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet от Anthropic и установили, что при запросах на краткие ответы, особенно по неоднозначным или спорным темам, модели чаще выдают ошибочную информацию. «Наши данные показывают, что даже простые изменения в инструкциях значительно влияют на склонность моделей к галлюцинациям», — отметили в Giskard.

Галлюцинации остаются одной из главных нерешённых проблем в области генеративного ИИ. Даже передовые модели, основанные на вероятностных алгоритмах, могут придумывать несуществующие факты. По словам авторов исследования, новые модели, ориентированные на рассуждение, такие как o3 от OpenAI, склонны к галлюцинациям даже чаще, чем их предшественники, что не может не снижать доверие к их ответам.

Отмечается, что одной из причин повышенной склонности к ошибкам является ограниченность пространства для объяснений. Когда модель просят быть краткой, она не может полностью раскрыть тему и опровергнуть ложные предпосылки в запросе. Однако этот момент очень важен для разработчиков кода, поскольку промпт, содержащий инструкцию типа «будь кратким» может навредить качеству ответа.

Кроме того, было замечено, что модели реже опровергают спорные утверждения, если их высказывают уверенно. Также оказалось, что те ИИ, которые пользователи чаще оценивают как удобные или приятные в общении, не всегда отличаются высокой степенью точности ответов.

Эксперты из Giskard советуют тщательнее подбирать инструкции для ИИ и избегать строгих ограничений на длину ответов. «Кажущиеся безобидными подсказки вроде "будь лаконичным" могут незаметно ухудшить качество информации», — предупреждают они.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Dell получила рекордный объём заказов на ИИ-серверы и повысила прогноз по прибыли на год 3 ч.
Шум во благо: физики добились квантовой «гиперзапутанности» атомов при помощи лазерного пинцета 3 ч.
Скидки на iPhone сработали: продажи иностранных смартфонов в Китае слегка подросли в апреле 3 ч.
InnoGrit представила SSD серии N3X — альтернативу Intel Optane с показателем IOPS до 3,5 млн 4 ч.
OpenYard представила серверы RS102I и RS202I на базе Intel Xeon Emerald Rapids 5 ч.
Илон Маск начал проталкивать в США закон о беспилотном транспорте 5 ч.
Synopsys уже прекратила обслуживать разработчиков чипов на территории Китая 9 ч.
TSMC рассматривает возможность строительства в ОАЭ предприятия по производству чипов 10 ч.
Microsoft отложила разработку портативной Xbox и сосредоточится на консолях партнёров 18 ч.
Китайская XPeng выпустила электромобиль MONA M03 Max за $20 000 с бесплатными автопилотом 20 ч.