Сегодня 22 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Поумневшие ИИ-модели OpenAI o3 и o4-mini проявили повышенную склонность к галлюцинациям

На этой неделе OpenAI выпустила модели искусственного интеллекта o3 и o4-mini. Они стали передовыми во многих отношениях, однако чаще галлюцинируют — то есть с уверенностью дают не соответствующие действительности ответы — по сравнению со своими предшественниками.

 Источник изображений: Mariia Shalabaieva / unsplash.com

Источник изображений: Mariia Shalabaieva / unsplash.com

Проблема галлюцинаций остаётся одной из крупнейших и наиболее сложных в современной отрасли ИИ — она затрагивает даже самые эффективные современные системы. Исторически каждая последующая модель демонстрировала улучшения в этом аспекте, то есть снижение количества галлюцинаций по сравнению с предыдущими версиями. Однако к o3 и o4-mini это, по-видимому, не относится. Новые системы от OpenAI галлюцинируют чаще, чем предыдущие рассуждающие модели компании, включая o1, o1-mini и o3-mini, а также традиционные «нерассуждающие», такие как GPT-4o, — гласят собственные тесты разработчика.

Некоторую тревогу вызывает то, что и сама компания не знает, почему так происходит. В техническом отчёте (PDF) она указывает, что «необходимы дополнительные исследования», чтобы понять, почему частота галлюцинаций увеличивается по мере масштабирования рассуждающих моделей. OpenAI o3 и o4-mini лучше предшественников справляются с рядом задач, в том числе в области математики и программирования, однако, поскольку «в целом они делают больше заявлений», они также чаще делают как «более точные заявления», так и «более неточные или галлюцинаторные», — говорится в отчёте разработчика.

 Источник изображений: Mariia Shalabaieva / unsplash.com

В собственном тесте OpenAI PersonQA, предназначенном для оценки знаний моделей о людях, o3 допускала галлюцинации в 33 % случаев, что примерно вдвое превышает частоту аналогичных ошибок у предыдущих рассуждающих моделей o1 и o3-mini (16 % и 14,8 % соответственно). Модель o4-mini в том же тесте галлюцинировала в 48 % случаев. Сторонний тест Transluce, проведённый независимым разработчиком, показал, что o3 имеет склонность выдумывать действия, которые она якобы предпринимала при подготовке ответов. В одном из случаев она утверждала, что запускала программный код на Apple MacBook Pro 2021 года «вне ChatGPT» и копировала числа в свой ответ. При этом у o3 действительно есть доступ к некоторым инструментам, но выполнить такое действие она не могла.

Согласно одной из версий, проблема с галлюцинациями, частота которых ранее снижалась при подключении стандартных средств после основного этапа обучения, могла, напротив, усугубиться из-за применения использованного для моделей серии «o» типа обучения с подкреплением. В результате модель OpenAI o3 может оказаться недостаточно полезной на практике, считают эксперты. Также было обнаружено, что в задачах, связанных с программированием, она значительно превосходит другие модели, но иногда дополняет код неработающими ссылками на веб-сайты.

Одним из многообещающих подходов к снижению числа галлюцинаций является открытие функций веб-поиска для моделей. Так, GPT-4o удалось добиться 90 % правильных ответов в эталонном тесте OpenAI SimpleQA. Возможно, это решение окажется эффективным и для рассуждающих моделей. «Устранение галлюцинаций во всех наших моделях — актуальная область исследований, и мы постоянно работаем над повышением их точности и надёжности», — заявили в OpenAI ресурсу TechCrunch.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Жидкое стекло» Apple можно будет заматировать: представлена нова бета iOS 26.1 12 мин.
Сервисы AWS упали второй раз за день — тысячи сайтов по всему миру снова недоступны 8 ч.
Fujitsu влила £280 млн в британское подразделение в преддверии выплат компенсаций жертвам багов в её ПО Horizon 8 ч.
Календарь релизов 20 – 26 октября: Ninja Gaiden 4, Painkiller, Dispatch и VTM – Bloodlines 2 8 ч.
В Windows сломалась аутентификация по смарт-картам после октябрьских обновлений — у Microsoft есть временное решение 9 ч.
Вместо Majesty 3: российские разработчики выпустили в Steam амбициозную фэнтезийную стратегию Lessaria: Fantasy Kingdom Sim 9 ч.
Слухи: Лана Дель Рей исполнит заглавную песню для «Джеймса Бонда», но не в кино, а в игре от создателей Hitman 10 ч.
Зов сердца: разработчики Dead Cells объяснили, почему вместо Dead Cells 2 выпустили Windblown 11 ч.
Adobe запустила фабрику ИИ-моделей, заточенных под конкретный бизнес 11 ч.
Китай обвинил США в кибератаках на Национальный центр службы времени — это угроза сетям связи, финансовым системам и не только 12 ч.
Президент США подписал соглашение с Австралией на поставку критически важных минералов на сумму $8,5 млрд 18 мин.
Новая статья: Обзор смартфона realme 15 Pro: светит, но не греется 5 ч.
Ещё одна альтернатива платформам NVIDIA — IBM объединила усилия с Groq 5 ч.
Учёные создали кибер-глаз, частично возвращающий зрение слепым людям 6 ч.
Samsung выпустила недорогой 27-дюймовый геймерский монитор Odyssey OLED G50SF c QD-OLED, 1440p и 180 Гц 6 ч.
Акции Apple обновили исторический максимум на новостях об отличных продажах iPhone 17 8 ч.
Представлен флагман iQOO 15 с чипом Snapdragon 8 Elite Gen 5 и батареей на 7000 мА·ч по цене меньше $600 9 ч.
Нечто из космоса врезалось в лобовое стекло самолёта Boeing 737 MAX компании United Airlines 10 ч.
Умные кольца Oura научатся выявлять признаки гипертонии, как последние Apple Watch 11 ч.
Дешёвая корейская термопаста оказалась вредна для процессоров и здоровья пользователей 11 ч.