Новые модели OpenAI GPT-6.2 Astra и GPT-6.2 Sol показали высокие результаты в тестах платформы DesignArena, оценивающей возможности искусственного интеллекта в разработке игр. Изначально модели заняли первое и третье места соответственно, однако за последующие дни конкуренты потеснили их с лидирующих позиций. По состоянию на 22 ноября GPT-6.2 Astra находится на втором месте, а Sol — на четвёртом.
Источник изображения: Mariia Berezovsky/unsplash.com
Согласно актуальному рейтингу DesignArena, лидером является модель Claude Fable 5.2 от Anthropic с результатом 1536 баллов. В свою очередь GPT-6.2 Astra набрала 1502 балла, заняв вторую строчку. Третье место досталось GPT-6 Astra (max) с 1457 баллами, а GPT-6.2 Sol расположилась на четвёртой позиции с 1437 баллами. Пятёрку лидеров замыкает Claude Opus 5.5 (1435 баллов).
GPT-6.2 Astra демонстрирует долю побед в сравнительных испытаниях на уровне 75,4 %, тогда как у Sol этот показатель составляет 69,6 %. Для сравнения, у лидирующей Claude Fable 5.2 он достигает 79,2 %. В испытаниях приняли участие сотни пользователей, оценивавших результаты генерации разных моделей.
DesignArena использует систему сравнительной оценки, основанную на голосовании людей. Пользователям демонстрируют результаты работы двух разных ИИ-моделей и предлагают выбрать наиболее удачный вариант. На основании таких сравнений рассчитывается рейтинг Elo. Платформа также учитывает скорость выполнения заданий и стоимость генерации.
Согласно первоначальным результатам, GPT-6.2 Astra в режиме High в среднем создаёт игровой проект за 6,8 минуты при стоимости одной генерации около $0,98. GPT-6.2 Sol справляется с аналогичной задачей примерно за 4,6 минуты, а стоимость генерации составляет всего $0,22. Таким образом, младшая модель обходится примерно в четыре раза дешевле.
Особенно примечательно сравнение GPT-6.2 Sol с предыдущим лидером рейтинга — GPT-6 Astra (max). По утверждению DesignArena, новая модель обеспечивает сопоставимое качество результатов, но при этом работает на 40 % быстрее и обходится примерно в четыре раза дешевле.
Впрочем, результаты DesignArena не следует воспринимать как объективную оценку качества программного кода или производительности готовых игр. Платформа измеряет прежде всего предпочтения пользователей, а итоговые позиции зависят от того, какие результаты генерации они считают более удачными.
Примечательно, что успехи моделей OpenAI не ограничиваются разработкой игр. В отдельном рейтинге DesignArena, посвящённом созданию веб-приложений в формате HTML, GPT-6.2 Sol занимает первое место с 1403 баллами, а GPT-6.2 Astra располагается на третьей строчке с 1391 баллом.
Источник:


MWC 2018
2018
Computex
IFA 2018








