OpenAI годами пренебрегала защитой от шпионажа ради гонки ИИ — теперь её разработки под угрозой

Когда в октябре OpenAI сообщила, что в конференц-зале для руководства было обнаружено подслушивающее устройство, многие бывшие сотрудники компании не удивились инциденту. Некоторые из них выражали обеспокоенность по этому поводу ещё до того, как в 2022 году был запущен ChatGPT. Они доносили свои опасения до высшего руководства, но складывалось впечатление, что тому было важнее не отставать от конкурентов в лице Google и Anthropic, чем заниматься вопросами безопасности.

Сотрудники OpenAI указывали, что меры контроля в компании были чрезвычайно слабыми, и посторонние лица, в том числе иностранцы, могли относительно легко получить доступ к конфиденциальной информации о технологиях лаборатории искусственного интеллекта. И только сейчас компания начала менять свою стратегию, чтобы решить проблемы с безопасностью — отвечающий за разработку продуктов Тибо Соттио (Thibault Sottiaux) перевёл часть занимающихся производственными системами инженеров на задачи по совершенствованию инфраструктуры безопасности.

С момента запуска ChatGPT в конце 2022 года технологии ИИ стали для США стратегическим активом, и американские компании вынуждены защищать свои разработки от иностранных конкурентов. С другой стороны, введение дополнительных уровней защиты может замедлить прогресс в развитии технологий ИИ и даже осложнить планы OpenAI и Anthropic по выходу на биржу — они могут войти в число самых дорогих компаний в мире. В условиях жёсткой конкуренции лидеры в отрасли ИИ «не могут жертвовать скоростью ради безопасности. Для них важнее двигаться быстро, чем обеспечивать безопасность — даже перед лицом самых серьёзных государственных противников», отметил недавно бывший исследователь OpenAI Уилл ДеПью (Will DePue), который ушёл из компании в апреле.

Официальная позиция OpenAI иная. Компания является одной из главных целей для злоумышленников во всем мире, заявила представитель организации Элана Видманн (Elana Widmann). OpenAI вкладывает значительные средства в программу безопасности, направленную на защиту от угроз со стороны инсайдеров, киберпреступников и иностранных государств. Однако 13 октября американский минюст сообщил об аресте гражданина Саудовской Аравии, которому предъявили обвинение в установке скрытого записывающего устройства — оно было спрятано в рулоне бумажных полотенец в конференц-зале для руководства. На тот момент 35-летний Абдулрахман Альфозан (Abdulrahman Alfozan) работал инженером в OpenAI.

По версии следствия, он при помощи внутренней ИИ-системы для сотрудников компании пытался найти информацию о визитах руководства в Саудовскую Аравию и установить, кто из представителей OpenAI, вероятно, будет встречаться с саудовскими министрами. Альфозан поддерживал регулярные контакты с членом королевской семьи Саудовской Аравии.

Любой имеющий доступ к исходному коду сотрудник OpenAI мог ознакомиться с подробностями множества проектов компании, в том числе конфиденциальных, которые не имели отношения к его должностным обязанностям. Значительная часть кода OpenAI хранится в едином репозитории. Этот монорепозиторий настолько объёмный и сложный, что в прошлом это, возможно, отпугивало некоторых злоумышленников, но сейчас такой массив данных под силу проанализировать ИИ-агентам. Часть своей исследовательской документации компания также хранила на платформах GitHub и Slack, где злоумышленники могли обнаружить критически важную информацию — впоследствии доступ к конфиденциальным рабочим материалам был ограничен.

Значительная часть наиболее конфиденциальных разработок компании сейчас хранится в отдельных репозиториях кода со строгим контролем доступа, подчеркнули в OpenAI. В основном монорепозитории содержится далеко не весь код — там, в частности, отсутствуют веса ИИ-моделей. В OpenAI не проводились регулярные проверки безопасности внутренних инструментов, в том числе песочниц, которые используются при стресс-тестах новых моделей. Сотрудники часто модифицировали их для решения своих задач, но такие изменения не всегда проходили проверку на уязвимости, и возрастал риск атаки извне.

В октябре 2024 года в должность директора по информационной безопасности вступил Дейн Стаки (Dane Stuckey), и теперь проверки безопасности внутренних инструментов проводятся регулярно, утверждают в OpenAI. При этом и OpenAI, и Anthropic стремятся поддерживать открытую исследовательскую культуру, которая помогает привлекать специалистов и стимулировать творческий подход, способный привести к прорывным открытиям. Отрасль ИИ исторически тесно связана с академической средой, где занимающиеся машинным обучением исследователи привыкли открыто обсуждать свои проекты.

Некоторые сотрудники OpenAI всё больше обеспокоены таким подходом по мере расширения возможностей систем ИИ. Ещё в 2023 году работавший тогда исследователем в компании Леопольд Ашенбреннер (Leopold Aschenbrenner) указал, что Китай может проникнуть в системы OpenAI и получить доступ к её технологиям — соответствующую внутреннюю записку он передал некоторым членам совета директоров после того, как сторонний злоумышленник действительно взломал системы компании и похитил сведения о модели GPT-4. Тогда в OpenAI пояснили, что он получил доступ лишь к открытым для всех сотрудников компании каналам в мессенджере Slack.

А в июле трое сотрудников стартапа Hacktron AI при помощи моделей Anthropic взломали принадлежащие сотрудникам OpenAI учётные записи ChatGPT. Это помогло им получить доступ к единому репозиторию кода компании. Она поблагодарила исследователей за предоставленную информацию и приняла меры, чтобы сократить угрозу таких атак в будущем.