MWC 2018
2018
Computex
IFA 2018
Google обновила рейтинг Android Bench, в котором представлены передовые модели искусственного интеллекта и даётся оценка их возможностей для разработки приложений для Android. В список попала Anthropic Fable 5 и сразу заняла в нём первое место.
Источник изображения: developer.android.com/bench
Компания изменила механизм ранжирования ИИ-моделей, отказавшись от основной системы бенчмаркинга в пользу стандартизированного фреймворка Harbor. Переход на этот фреймворк позволит разработчикам Android использовать одни и те же средства для анализа ИИ-моделей в конкретных сценариях использования — Google фактически открыла Android Bench для пользователей, желающих отправлять задачи по разработке для Android. Эти задачи смогут использоваться для оценки того, как модели справляются с каждым сценарием. Разработчикам также предлагается делиться своими результатами тестов.
Поисковый гигант, который традиционно ценит открытый и прозрачный подход, сделал свою методологию и тестовый стенд общедоступными на GitHub. Google также обновила рейтинг, используя новую структуру — первое место с заметным преимуществом заняла Anthropic Claude Fable 5, получившая оценку 84,5 %. На втором месте оказалась OpenAI GPT-5.5 с результатом 80,2 %; третьей стала Claude Sonnet 5, которая уступила лидеру рейтинга 8,3 п.п. Все присутствовавшие ранее в рейтинге модели получили новые оценки.
Источник:
