Сегодня 23 мая 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI заподозрили в манипуляциях с тестами мощной ИИ-модели o3

В декабре прошлого года OpenAI представила большую языковую модель o3, заявив, что она способна справиться более чем с 25 % набора сложных математических задач FrontierMath, тогда как другие ИИ-модели справлялись только с 2 % заданий из этого набора. Однако расхождения между результатами внутренних и независимых тестов вызывали вопросы о прозрачности компании и практике тестирования нейросетей.

 Источник изображения: Levart_Photographer / unsplash.com

Источник изображения: Levart_Photographer / unsplash.com

На момент анонса ИИ-модели o3 представитель компании особо отметил результаты алгоритма при решении задач FrontierMath. Однако выпущенная на прошлой неделе потребительская версия алгоритма далеко не так хорошо справляется с вычислениями. Это может указывать на то, что OpenAI либо завысила результаты тестирования, либо в нём была задействована другая, более способная к решению математических задач версия o3.

Исследователи из Epoch AI, стоящие за созданием FrontierMath, опубликовали результаты независимых тестов общедоступной версии ИИ-модели o3. Оказалось, что алгоритм сумел справиться только с 10 % задач, что значительно ниже заявленных OpenAI 25 %. Вместе с этим исследователи протестировали ИИ-модель o4-mini, более компактный и дешёвый алгоритм, который является преемником o3-mini.

 Источник изображения: @EpochAIResearch / X

Источник изображения: @EpochAIResearch / X

Конечно, расхождение в результатах тестирования не означает, что OpenAI намеренно завысила показатели ИИ-модели. Нижняя граница результатов тестирования OpenAI практически совпадает с результатами, полученными Epoch AI. В Epoch AI также отметили, что тестируемая ими модель, скорее всего, отличается от той, что тестировалась OpenAI. Также отмечается, что исследователи задействовали обновлённую версию набора задач FrontierMath.

«Разница между нашими результатами и результатами OpenAI может быть связана с тем, что OpenAI оценивает результаты с помощью более мощной внутренней версии, используя больше времени для вычислений, или потому, что эти результаты были получены на другом подмножестве FrontierMath (180 задач в frontiermath-2024-11-26 против 290 задач в frontiermath-2025-02-28)», — сказано в сообщении Epoch AI.

По данным организации ARC Foundation, которая тестировала предварительную версию o3, публичная версия ИИ-алгоритма «представляет собой другую модель», которая оптимизирована для использования в чате/продуктах. «Вычислительный уровень всех выпущенных версий o3 ниже, чем у версии, которую мы тестировали», — сказано в сообщении ARC.

Сотрудница OpenAI Венда Чжоу (Wenda Zhou) рассказала, что публичная версия o3 «более оптимизирована для реальных случаев использования» и повышения скорости обработки запросов по сравнению с версией o3, которую компания тестировала в декабре. По её словам, это и является причиной того, что результаты тестирования в бенчмарках могут отличаться от того, что показывала OpenAI.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Только со смертью заканчивается долг»: разработчики Warhammer 40,000: Space Marine 2 раскрыли дату выхода горячо ожидаемого режима «Осада» 57 мин.
Google вслед за Microsoft заявила о готовности поддержать клиентов из Евросоюза и представила новые решения для защиты цифрового суверенитета 3 ч.
Anthropic представила Claude 4 — ИИ научился избегать «лазеек» и точнее выполнять сложные задания 7 ч.
Sega анонсировала «вдумчивую реставрацию» оригинальной Warhammer 40,000: Space Marine для нового поколения игроков 12 ч.
Культовая стратегия Warhammer 40,000: Dawn of War в 2025 году получит новую жизнь благодаря ремастеру — трейлер и подробности 12 ч.
Warhammer 40,000: Boltgun 2 выйдет в 2026 году, а бесплатный «печатный» шутер по мотивам первой части ждать не придётся 13 ч.
Owlcat Games анонсировала ролевую игру про борьбу с ересью Warhammer 40,000: Dark Heresy и новые дополнения для Warhammer 40,000: Rogue Trader 14 ч.
Чемпионат мира по киберспорту в Саудовской Аравии остался без GeoGuessr — разработчики отказались от участия после протеста фанатов 15 ч.
Разработчики ролевого боевика Alkahest в духе Dark Messiah of Might and Magic анонсировали геймплейную демонстрацию и показали новый тизер 16 ч.
День биткоин-пиццы: 15 лет назад майнер купил две пиццы за 10 000 BTC — сегодня это $1,1 млрд 16 ч.
Репортаж со стенда Formula V Line на выставке Computex 2025: корпуса, охлаждение и блоки питания для мощных ПК 9 мин.
Apple начала заманивать дополнительными скидками желающих обновить iPhone, но только в Китае 13 мин.
Девятый пуск SpaceX Starship одобрен регуляторами в США при условии расширения зоны безопасности 3 ч.
Apple рассчитывает выпустить умные очки до конца 2026 года, но передумала создавать «подглядывающие» часы Watch 6 ч.
Новая статья: Система жидкостного охлаждения ID-Cooling DX360 Max с радиатором увеличенной толщины 9 ч.
Qualcomm готовит 80-ядерный серверный Arm-процессор SD1 для ИИ-платформ 12 ч.
Xiaomi представила огромный 14-дюймовый планшет Pad 7 Ultra на фирменном процессоре Xring O1 15 ч.
Xiaomi представила часы Watch S4 на фирменном чипе Xring T1 с модемом 4G собственной разработки 15 ч.
SK hynix представила смартфонную память UFS 4.1 на основе 321-слойной 4D NAND 16 ч.
Представлен флагман Xiaomi 15S Pro — первый смартфон на фирменном процессоре Xring O1 16 ч.