Сегодня 20 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Поумневшие ИИ-модели OpenAI o3 и o4-mini проявили повышенную склонность к галлюцинациям

На этой неделе OpenAI выпустила модели искусственного интеллекта o3 и o4-mini. Они стали передовыми во многих отношениях, однако чаще галлюцинируют — то есть с уверенностью дают не соответствующие действительности ответы — по сравнению со своими предшественниками.

 Источник изображений: Mariia Shalabaieva / unsplash.com

Источник изображений: Mariia Shalabaieva / unsplash.com

Проблема галлюцинаций остаётся одной из крупнейших и наиболее сложных в современной отрасли ИИ — она затрагивает даже самые эффективные современные системы. Исторически каждая последующая модель демонстрировала улучшения в этом аспекте, то есть снижение количества галлюцинаций по сравнению с предыдущими версиями. Однако к o3 и o4-mini это, по-видимому, не относится. Новые системы от OpenAI галлюцинируют чаще, чем предыдущие рассуждающие модели компании, включая o1, o1-mini и o3-mini, а также традиционные «нерассуждающие», такие как GPT-4o, — гласят собственные тесты разработчика.

Некоторую тревогу вызывает то, что и сама компания не знает, почему так происходит. В техническом отчёте (PDF) она указывает, что «необходимы дополнительные исследования», чтобы понять, почему частота галлюцинаций увеличивается по мере масштабирования рассуждающих моделей. OpenAI o3 и o4-mini лучше предшественников справляются с рядом задач, в том числе в области математики и программирования, однако, поскольку «в целом они делают больше заявлений», они также чаще делают как «более точные заявления», так и «более неточные или галлюцинаторные», — говорится в отчёте разработчика.

 Источник изображений: Mariia Shalabaieva / unsplash.com

В собственном тесте OpenAI PersonQA, предназначенном для оценки знаний моделей о людях, o3 допускала галлюцинации в 33 % случаев, что примерно вдвое превышает частоту аналогичных ошибок у предыдущих рассуждающих моделей o1 и o3-mini (16 % и 14,8 % соответственно). Модель o4-mini в том же тесте галлюцинировала в 48 % случаев. Сторонний тест Transluce, проведённый независимым разработчиком, показал, что o3 имеет склонность выдумывать действия, которые она якобы предпринимала при подготовке ответов. В одном из случаев она утверждала, что запускала программный код на Apple MacBook Pro 2021 года «вне ChatGPT» и копировала числа в свой ответ. При этом у o3 действительно есть доступ к некоторым инструментам, но выполнить такое действие она не могла.

Согласно одной из версий, проблема с галлюцинациями, частота которых ранее снижалась при подключении стандартных средств после основного этапа обучения, могла, напротив, усугубиться из-за применения использованного для моделей серии «o» типа обучения с подкреплением. В результате модель OpenAI o3 может оказаться недостаточно полезной на практике, считают эксперты. Также было обнаружено, что в задачах, связанных с программированием, она значительно превосходит другие модели, но иногда дополняет код неработающими ссылками на веб-сайты.

Одним из многообещающих подходов к снижению числа галлюцинаций является открытие функций веб-поиска для моделей. Так, GPT-4o удалось добиться 90 % правильных ответов в эталонном тесте OpenAI SimpleQA. Возможно, это решение окажется эффективным и для рассуждающих моделей. «Устранение галлюцинаций во всех наших моделях — актуальная область исследований, и мы постоянно работаем над повышением их точности и надёжности», — заявили в OpenAI ресурсу TechCrunch.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google создала параллельный интернет для обучения ИИ-агентов — в нём есть даже поддельные банки и соцсети 15 мин.
Развязка приключений Геральта задерживается: Netflix подтвердила перенос пятого сезона сериала «Ведьмак» 3 ч.
В экране блокировки Windows 11 обнаружена дыра, открывающая путь ко всем данным на ПК 4 ч.
Хакеры похитили данные более 1 млн банковских карт в 20 странах включая Россию 4 ч.
Инсайдер раскрыл, когда и где покажут многострадальный ремейк Star Wars: Knights of the Old Republic 4 ч.
«Ждал эту игру почти всю свою жизнь»: Creative Assembly заинтриговала фанатов целым часом нового геймплея Total War: Warhammer 40,000 6 ч.
Apple запустила разработку собственного ИИ-агента, который поселится в компьютерах Mac 6 ч.
Apple потеряла главного разработчика софта для камеры iPhone 6 ч.
Хакер Cyberleek «слил» в открытый доступ почти рабочую сборку GTA VI для Xbox, и это только начало 8 ч.
Google внедрила чаты с ИИ прямо на главную страницу поисковика 17 ч.
Акции AMD падают на фоне сообщений о связях компании с Китаем, способных привлечь внимание американских регуляторов 34 мин.
Huawei представила широкоэкранный, но не складывающийся смартфон OSTA O1 Pro 36 мин.
FADU представила первый в мире «файлово-семантический SSD» 47 мин.
SK hynix станет крупнейшим акционером собственного конкурента Kioxia — рынок NAND ждут перемены 2 ч.
Anthropic вошла в «клуб триллионеров» по итогам IPO, но простым инвесторам достались крохи 2 ч.
Акционеры подали иск против Supermicro, считая, что бывшая директор по развитию бизнеса знала о контрабанде чипов NVIDIA в КНР 2 ч.
Huawei представила первый «экспортный» ИИ-кластер на базе ускорителей Ascend 950DT 2 ч.
DapuStor выпустила SSD серии R6 с СЖО: до 7,68 Тбайт в формате E1.S 3 ч.
Hammerspace представила All-Flash платформу хранения Data System на базе DPU Xsight Labs E1 3 ч.
Марс наносит ответный удар: ровер Perseverance потерял связь, а станция Mars Odyssey — управление ориентацией 3 ч.