Сегодня 28 марта 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Claude 3 Opus сбросила GPT-4 с первого места в рейтинге языковых моделей

Большая языковая модель (LLM) Claude 3 Opus от Anthropic впервые превзошла GPT-4 (модель в основе ChatGPT) от OpenAI на Chatbot Arena — популярной площадке, где пользователи оценивают качество работы чат-ботов. «Король мёртв», — написал в социальной сети X разработчик ПО Ник Добос [Nick Dobos].

 Источник изображения: Anthropic

Источник изображения: Anthropic

Зашедшим на сайт пользователям Chatbot Arena предлагается ввести запрос, после чего демонстрируются два результата от неуказанных языковых моделей — человек должен выбрать, какой результат нравится больше. Проведя тысячи сравнений, Chatbot Arena заполняет обновляемую рейтинговую таблицу. Сайт управляется исследовательской организацией Large Model Systems Organization (LMSYS ORG), занимающейся открытыми ИИ-моделями.

«Впервые на вершине рейтинга ИИ-модели не от OpenAI: Opus для сложных задач, Haiku — для вариантов, когда нужно дёшево и быстро. Это обнадёживает — от конкуренции разработчиков все только выиграют. Тем не менее, GPT-4 уже больше года, и конкуренты догнали её только сейчас», — прокомментировал событие независимый исследователь ИИ Саймон Уиллисон (Simon Willison).

Сейчас в рейтинге Chatbot Arena представлены четыре версии GPT-4, поскольку с каждым обновлением вывод модели менялся, и некоторые пользователи предпочитают конкретные версии или же пользуются ими всеми для большей стабильности результатов. GPT-4 появилась в Chatbot Arena 10 мая 2023 года, через неделю после запуска рейтинга, и с тех пор различные версии GPT-4 неизменно занимали верхние строчки.

Chatbot Arena ценится исследователями ИИ за возможность более-менее объективно оценить эффективность чат-ботов, что весьма непросто, и ключевым фактором здесь становится множество оценок, складывающихся в общую картину. Субъективные оценки играют немалую роль в сфере ИИ, где разработчик модели может выбрать конкретные показатели в рекламных целях. «Не так давно я долго программировал с использованием ИИ-модели Claude 3 Opus, и она полностью разгромила GPT-4», — написал в X разработчик ПО для ИИ Антон Бакай (Anton Bacaj).

Успех рвущейся к вершинам рейтинга Claude 3 от Anthropic уже подтолкнул некоторых пользователей перейти на неё с GPT-4. Тем временем, набирает популярность Gemini Advanced от Google. Позиции OpenAI пошатнулись, но компания не почивает на лаврах и готовит новые модели, среди которых GPT-5.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Учёные наконец выяснили, как работает ИИ — оказалось, что он может вынашивать планы и сознательно врать 24 мин.
Android Auto получила полную поддержку игр для Android, но на ходу они запускаться не будут 29 мин.
Не всё потеряно: студия Nightdive обнадёжила фанатов, заждавшихся новостей о System Shock 3 4 ч.
Разработчики Warhammer 40,000: Space Marine 2 пообещали, что «никто не забрасывает игру» ради Space Marine 3 4 ч.
Mozilla закрыла уязвимость Firefox, аналогичную обнаруженной ранее в Google Chrome 4 ч.
Полицейский экшен The Precinct с элементами первых GTA не заставит долго ждать — дата выхода и геймплейный трейлер 6 ч.
«Думал, не доживу»: первый за восемь лет полноценный трейлер симулятора школы магии Witchbrook очаровал игроков 7 ч.
Сюжетное дополнение к Hogwarts Legacy стало жертвой реструктуризации Warner Bros. Games 8 ч.
Facebook вернул свой 2007-й: запущена лента только с публикациями друзей, без алгоритмического мусора 16 ч.
Microsoft ускорит запуск приложений Office — начнут с Word 19 ч.
Gigabyte выпустила плату B760M Aorus Elite WIFI6E Gen5 с разъёмом PCIe 5.0 x16 и поддержкой Wi-Fi 6E 17 мин.
Public Power Corp (PPC) представила план строительства ЦОД в старых угольных шахтах Греции 42 мин.
Космический телескоп «Гайя» прекратил работу — его пытались выключить с января, но он сопротивлялся 51 мин.
МТС протестируют прямое подключение обычных смартфонов к спутникам в России 2 ч.
Китайцы готовы обогнать Tesla и Boston Dynamics в наполнении мира человекоподобными роботами 2 ч.
Новый гендиректор Тан пообещал построить «новую Intel» с передовыми техпроцессами и лучшими чипами 4 ч.
Пошлины сработали: объём продаж китайских электромобилей в Европе упал до двухлетнего минимума 4 ч.
Солнечный зонд «Паркер» снова окунулся в солнечную корону и вышел на связь невредимым 4 ч.
5 Экзабайт для ИИ: OpenAI может построить специальный дата-центр для хранения за миллиарды долларов 4 ч.
Hina Battery представила натрий-ионные батареи, которые не боятся холода и заряжаются за 20 минут 4 ч.