Сегодня 20 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Cisco выяснила, почему безупречные на первый взгляд отчёты ИИ о киберинцидентах нельзя принимать на веру

Команда Cisco Talos Incident Response проверила, насколько точно большие языковые модели (LLM) способны составлять технические отчёты о киберинцидентах. Результаты исследования показали, что внешне безупречные отчёты содержали фактические ошибки, противоречивые выводы и несоответствия.

 Источник изображения: KeepCoding / unsplash.com

Источник изображения: KeepCoding / unsplash.com

Нейт Порс (Nate Pors), старший руководитель направления реагирования на инциденты в Cisco Talos, описал результаты в корпоративном блоге. Моделям ChatGPT, Claude и Gemini передали сырые заметки с просьбой составить технический отчёт. Все три выдали визуально отполированные документы, однако детальный разбор выявил неточности и нетипичные заключения. По данным Cisco, в основе большинства несоответствий лежит вероятностная природа самих LLM: ИИ-модели генерируют текст, предсказывая следующее слово на основе статистических весов, а не понимания смысла.

По словам Порса, LLM искажают отчёты по четырём направлениям. Во-первых, при каждом запросе модель опирается на разные фрагменты данных, из-за чего «сложно полагаться на LLM для получения воспроизводимых и стандартизированных результатов исследования».

Во-вторых, одни и те же входные данные приводят к разным выводам: в одном случае ИИ-модель рекомендует принудительную смену паролей во всей организации, а в другом — точечную, причём «часто фиксируется на первой же сгенерированной рекомендации» независимо от её качества.

В-третьих, поскольку LLM генерируют текст токен за токеном, при каждом запросе они могут выдавать документы с разной структурой и оформлением, что критично для «профессиональной среды, где стандартизированные шаблоны необходимы для контроля качества».

В-четвёртых, когда объём входных данных достигает лимита контекстного окна, ИИ может отбросить информацию, загруженную в начале сеанса, и потерять критически важные сведения, а «засорение контекста» дополнительно ведёт к непредсказуемым или смешанным результатам.

Cisco допускает, что проблемы теоретически решаемы — ИИ-моделям можно давать задания на конкретный фрагмент отчёта. Но такой подход сводит на нет выигрыш во времени от использования ИИ. В кибербезопасности цена ошибки особенно высока. Cisco предупреждает, что авторы отчётов обязаны понимать и брать на себя ответственность за каждое слово итогового документа, а рекомендации LLM оказались повторяющимися, нерелевантными или непригодными для практического применения.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google внедрила чаты с ИИ прямо на главную страницу поисковика 5 ч.
Ubisoft похвасталась вкладом Assassin’s Creed Black Flag Resynced в успехи компании и уволила ещё 166 человек 6 ч.
IPO превратило сотрудников Anthropic в мультимиллионеров — в среднем у каждого теперь более $44 млн 8 ч.
Россияне так ждали GTA VI, что начали массово арендовать PlayStation 5 — а заодно вызвали скачок интернет-трафика 8 ч.
ChatGPT научился расшифровывать речь в текст на лету без ограничения по времени 9 ч.
Новое ответвление Fallout отправит игроков разыскивать кошек в пустоши — подробности неанонсированной A Wasteland Full of Cats 10 ч.
Хакеры 10 дней атаковали системы Еврокомиссии с помощью ИИ — под угрозой личные данные чиновников 11 ч.
Студия-разработчик провальной MindsEye нашла способ выбраться из долговой ямы — засудить «диверсантов» 11 ч.
«Яндекс» заявил, что вернул доступ к 99,5 % файлов на «Диске» — оставшиеся ещё надеются спасти 12 ч.
В России создали мультиагентную систему «Радар» для автоматизации закупочных процессов 12 ч.
Tesla представила твердотельные трансформаторы Powercore для ЦОД 3 ч.
Нобелевские лауреаты призвали не верить в посулы Anthropic — но инвесторы их не услышали 5 ч.
Intel Xeon 7 Diamond Rapids впервые показали вживую и даже запустили — но вскоре выключили из-за шума 5 ч.
Новая статья: Обзор блока питания GamerStorm PF800D V2 5 ч.
Ещё один дефицит на подходе: мир накроет нехватка печатных плат, сопоставимая с чиповым кризисом 2021 года 7 ч.
Anthropic вышла на биржу и тут же стала дороже $2 трлн — рост превысил 30 % 7 ч.
Астрономы впервые наблюдали акт звёздного каннибализма в реальном времени: одна звезда поглотила другую 7 ч.
SSD наконец подешевеют? Аналитики предсказали избыток NAND-памяти и обвал цен уже в 2027 году 7 ч.
Бывший топ-менеджер Nvidia и его супруга из Supermicro оказались в центре нового скандала о контрабанде ИИ-чипов в Китай 8 ч.
Google отправит ИИ-серверы в космос на ракете Безоса в 2029 году 9 ч.