Сегодня 30 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI заподозрили в манипуляциях с тестами мощной ИИ-модели o3

В декабре прошлого года OpenAI представила большую языковую модель o3, заявив, что она способна справиться более чем с 25 % набора сложных математических задач FrontierMath, тогда как другие ИИ-модели справлялись только с 2 % заданий из этого набора. Однако расхождения между результатами внутренних и независимых тестов вызывали вопросы о прозрачности компании и практике тестирования нейросетей.

 Источник изображения: Levart_Photographer / unsplash.com

Источник изображения: Levart_Photographer / unsplash.com

На момент анонса ИИ-модели o3 представитель компании особо отметил результаты алгоритма при решении задач FrontierMath. Однако выпущенная на прошлой неделе потребительская версия алгоритма далеко не так хорошо справляется с вычислениями. Это может указывать на то, что OpenAI либо завысила результаты тестирования, либо в нём была задействована другая, более способная к решению математических задач версия o3.

Исследователи из Epoch AI, стоящие за созданием FrontierMath, опубликовали результаты независимых тестов общедоступной версии ИИ-модели o3. Оказалось, что алгоритм сумел справиться только с 10 % задач, что значительно ниже заявленных OpenAI 25 %. Вместе с этим исследователи протестировали ИИ-модель o4-mini, более компактный и дешёвый алгоритм, который является преемником o3-mini.

 Источник изображения: @EpochAIResearch / X

Источник изображения: @EpochAIResearch / X

Конечно, расхождение в результатах тестирования не означает, что OpenAI намеренно завысила показатели ИИ-модели. Нижняя граница результатов тестирования OpenAI практически совпадает с результатами, полученными Epoch AI. В Epoch AI также отметили, что тестируемая ими модель, скорее всего, отличается от той, что тестировалась OpenAI. Также отмечается, что исследователи задействовали обновлённую версию набора задач FrontierMath.

«Разница между нашими результатами и результатами OpenAI может быть связана с тем, что OpenAI оценивает результаты с помощью более мощной внутренней версии, используя больше времени для вычислений, или потому, что эти результаты были получены на другом подмножестве FrontierMath (180 задач в frontiermath-2024-11-26 против 290 задач в frontiermath-2025-02-28)», — сказано в сообщении Epoch AI.

По данным организации ARC Foundation, которая тестировала предварительную версию o3, публичная версия ИИ-алгоритма «представляет собой другую модель», которая оптимизирована для использования в чате/продуктах. «Вычислительный уровень всех выпущенных версий o3 ниже, чем у версии, которую мы тестировали», — сказано в сообщении ARC.

Сотрудница OpenAI Венда Чжоу (Wenda Zhou) рассказала, что публичная версия o3 «более оптимизирована для реальных случаев использования» и повышения скорости обработки запросов по сравнению с версией o3, которую компания тестировала в декабре. По её словам, это и является причиной того, что результаты тестирования в бенчмарках могут отличаться от того, что показывала OpenAI.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
The Blood of Dawnwalker, Code Vein 2 и многие другие: анонсирована игровая презентация Bandai Namco Summer Showcase 2025 42 мин.
Комиссионный хаос: Apple изменила правила App Store для ЕС так, что теперь их никто не понимает 2 ч.
«Это был ошибочный выбор»: авторы The Alters подтвердили, что в игру попал ИИ-контент, и объяснили, как так получилось 2 ч.
AMD выпустила драйвер с поддержкой FSR 4 для Monster Hunter Wilds и GTA V Enhanced 3 ч.
Календарь релизов — 1–6 июля: Mecha Break, Dying Light Retouched и девятый сезон Diablo IV 3 ч.
Avanpost: в корпоративном сегменте по-прежнему большей частью полагаются на обычные пароли и LDAP 3 ч.
Надёжный инсайдер раскрыл, когда ждать анонс и релиз следующей Ghost Recon 4 ч.
Rockstar готовится к старту рекламной кампании GTA VI — студии понадобились специалисты по локализации, в том числе русской 5 ч.
Миллионы наушников можно превратить в подслушивающие устройства из-за уязвимости в чипе Bluetooth 5 ч.
«Революционные» технологии, истоки проекта и поддержка после релиза: новые подробности ролевого MMO-шутера The Cube во вселенной Atomic Heart 6 ч.
ИИ создаст спрос на передовые чипы: выпуск 7-нм и более тонких полупроводников вырастет на 69 % к 2028 году 31 мин.
Google подключит серверы к термоядерному реактору Commonwealth Fusion Systems 58 мин.
В деревню, в глушь, на север: московский регион страдает от дефицита мощностей ЦОД, но скоро операторы могут уйти в провинцию 2 ч.
Смартфоны Google Pixel 10 Pro и Pixel 10 Pro XL полностью рассекречены задолго до анонса 3 ч.
DJI выпустила грузовой дрон FlyCart 100 с грузоподъёмностью до 80 кг и передовыми системами безопасности 3 ч.
Дубай стал на шаг ближе к запуску аэротакси — Joby Aviation доставила первый серийный электролёт в ОАЭ 6 ч.
SpaceX запустила британский спутник для производства полупроводников прямо на орбите Земли 7 ч.
Слухи: Apple выпустит недорогой MacBook с чипом от iPhone 7 ч.
Б/у автоаккумуляторы запитали ИИ ЦОД с 2 тыс. ускорителей 8 ч.
Anker отзовёт ещё несколько миллионов пауэрбанков с потенциально пожароопасными элементами 9 ч.