MWC 2018
2018
Computex
IFA 2018
ИИ-модель Mythos компании Anthropic подтвердила репутацию лучшего инструмента поиска программных уязвимостей, но в других задачах её результаты оказались неоднозначными. Компания XBOW, которая разрабатывает ИИ-инструменты для проверки защищённости систем, провела серию независимых тестов Mythos Preview.
Источник изображения: anthropic.com
XBOW сообщает, что Mythos Preview представляет собой существенный шаг вперёд по сравнению со всеми существующими моделями, независимо от провайдера. Модель отлично находит проблемы при тестировании на работающей системе с доступом к исходному коду, но хуже справляется с анализом кода в изоляции. Ещё 20 лет назад американский учёный в области информатики Гэри Макгроу (Gary McGraw) отметил, что ошибки в работе программ возникают на стыке багов в коде и изъянов архитектуры: найти архитектурные изъяны, просто изучая код построчно, нельзя — для этого требуется понимание системы на более высоком уровне. XBOW при этом подчёркивает: хотя любая ИИ-модель может обнаружить что-то интересное, «что-то» не равнозначно «всему».
В оценке результатов — умении отличать реальные уязвимости от ложных — Mythos отсеивала ложные срабатывания лучше предшественников, но иногда пропускала реальные уязвимости, когда свидетельства формально не удовлетворяли её критериям. Лучших результатов модель достигает при точно сформулированных запросах. В реверс-инжиниринге (восстановлении логики программы без доступа к исходному коду) и анализе нативного кода Mythos показала значительную силу. XBOW заключила, что модель способна проводить триаж — приоритизацию и отсев — как собственных результатов, так и находок конкурентов, а также разбираться в нестандартных прошивках. Тесты на взаимодействие с визуальным интерфейсом показали, что модель не всегда попадает в точные координаты элементов на экране, но практически эффективна при выборе действий в браузере: верно определяет нужный элемент и кликает в нужное место.
Остаётся вопрос стоимости. XBOW отмечает, что Mythos Preview — не просто очередная модель, а настоящий титан, но титаны велики, а величина означает дороговизну. Anthropic заявила, что Mythos будет в пять раз дороже модели Opus. XBOW проверила, можно ли дать более дешёвой модели больше времени и получить сопоставимую точность, — и ответ оказался утвердительным. При нормализации по стоимости работы Mythos Preview не выглядит расточительной, если требуется высокая точность, но на бенчмарках XBOW не стала лучшей в своём классе. При поиске веб-уязвимостей с фиксированным бюджетом токенов Mythos превосходит Opus 4.6, но уступает GPT5.5.
Главные выводы тестирования: Mythos чрезвычайно мощна для аудита исходного кода, хороша, но менее убедительна в подтверждении работоспособности найденных эксплойтов. Модель склонна к буквальности в оценках и преувеличивает практическую значимость находок, при этом сильна в нативном коде и реверс-инжиниринге. XBOW заключает, что Mythos Preview уверенно находит потенциальные уязвимости, особенно в исходном коде, и показывает сильные результаты в задачах, связанных с вебом, нативным кодом и реверс-инжинирингом.
Источник:
