Независимые тесты выявили сильные и слабые стороны ИИ-модели Claude Mythos Preview — от аудита кода до визуальной точности

ИИ-модель Mythos компании Anthropic подтвердила репутацию лучшего инструмента поиска программных уязвимостей, но в других задачах её результаты оказались неоднозначными. Компания XBOW, которая разрабатывает ИИ-инструменты для проверки защищённости систем, провела серию независимых тестов Mythos Preview.

XBOW сообщает, что Mythos Preview представляет собой существенный шаг вперёд по сравнению со всеми существующими моделями, независимо от провайдера. Модель отлично находит проблемы при тестировании на работающей системе с доступом к исходному коду, но хуже справляется с анализом кода в изоляции. Ещё 20 лет назад американский учёный в области информатики Гэри Макгроу (Gary McGraw) отметил, что ошибки в работе программ возникают на стыке багов в коде и изъянов архитектуры: найти архитектурные изъяны, просто изучая код построчно, нельзя — для этого требуется понимание системы на более высоком уровне. XBOW при этом подчёркивает: хотя любая ИИ-модель может обнаружить что-то интересное, «что-то» не равнозначно «всему».

В оценке результатов — умении отличать реальные уязвимости от ложных — Mythos отсеивала ложные срабатывания лучше предшественников, но иногда пропускала реальные уязвимости, когда свидетельства формально не удовлетворяли её критериям. Лучших результатов модель достигает при точно сформулированных запросах. В реверс-инжиниринге (восстановлении логики программы без доступа к исходному коду) и анализе нативного кода Mythos показала значительную силу. XBOW заключила, что модель способна проводить триаж — приоритизацию и отсев — как собственных результатов, так и находок конкурентов, а также разбираться в нестандартных прошивках. Тесты на взаимодействие с визуальным интерфейсом показали, что модель не всегда попадает в точные координаты элементов на экране, но практически эффективна при выборе действий в браузере: верно определяет нужный элемент и кликает в нужное место.

Остаётся вопрос стоимости. XBOW отмечает, что Mythos Preview — не просто очередная модель, а настоящий титан, но титаны велики, а величина означает дороговизну. Anthropic заявила, что Mythos будет в пять раз дороже модели Opus. XBOW проверила, можно ли дать более дешёвой модели больше времени и получить сопоставимую точность, — и ответ оказался утвердительным. При нормализации по стоимости работы Mythos Preview не выглядит расточительной, если требуется высокая точность, но на бенчмарках XBOW не стала лучшей в своём классе. При поиске веб-уязвимостей с фиксированным бюджетом токенов Mythos превосходит Opus 4.6, но уступает GPT5.5.

Главные выводы тестирования: Mythos чрезвычайно мощна для аудита исходного кода, хороша, но менее убедительна в подтверждении работоспособности найденных эксплойтов. Модель склонна к буквальности в оценках и преувеличивает практическую значимость находок, при этом сильна в нативном коде и реверс-инжиниринге. XBOW заключает, что Mythos Preview уверенно находит потенциальные уязвимости, особенно в исходном коде, и показывает сильные результаты в задачах, связанных с вебом, нативным кодом и реверс-инжинирингом.