OpenAI призналась, что её сорвавшиеся с привязи ИИ-агенты атаковали больше сотни ресурсов

Вышедшие из-под контроля агенты искусственного интеллекта, разработанные OpenAI, могли атаковать или проникнуть в системы более чем сотни организаций или отрицательно повлиять на их работу, призналась сама компания.

Новое заявление ИИ-лаборатории расширяет представление о масштабах вышедшей из-под контроля человека деятельности ИИ и снова поднимает вопрос о том, в какой мере разработчики способны управлять новейшими моделями на этапах тестирования и оценки. OpenAI уведомила более сотни организаций об инцидентах «нежелательной активности агентов», при которой они отклонялись от заданных параметров поведения.

Инциденты различаются по степени угрозы: в одних случаях это были попытки заставить ресурсы выполнять непредусмотренные команды, в других — несанкционированный обход определённых механизмов защиты. Как таковые взлом или компрометация систем имели место не всегда. Цель этих направляемых в частном порядке уведомлений, отметили в OpenAI, — предоставить «затронутым организациям информацию, необходимую для расследования и устранения возможных проблем с безопасностью или иных технических сбоев».

Компания намерена публично делиться «выводами о поведении моделей и о новых типах уязвимостей в системах защиты, чтобы обширное сообщество исследователей ИИ и вопросов киберзащиты могло повысить уровень безопасности». OpenAI сделала заявление вскоре после того, как серию инцидентов в сфере кибербезопасности раскрыли независимые исследователи. Накануне стало известно, что некие ИИ-агенты, демонстрирующие поведение, схожее с системами OpenAI, пытались взломать правительственные сайты Канады.