MWC 2018
2018
Computex
IFA 2018
Разработанные OpenAI агенты искусственного интеллекта в течение нескольких месяцев атаковали ресурсы Data USA, Университета Нью-Мексико и Австралийского института здравоохранения и социального обеспечения в стремлении извлечь малоизвестные данные. Об этом сообщила некоммерческая лаборатория Transluce, которая занимается вопросами контроля за сферой ИИ.
Источник изображений: Brecht Corbeel / unsplash.com
Очередное расследование поднимает вопросы о том, когда именно инженеры OpenAI должны были узнать, что их агенты пытаются проникнуть в защищённые системы в открытом интернете. Специалисты Transluce обнаружили свидетельства неправомерных действий ИИ-агентов OpenAI — в течение нескольких недель они производили поиск слабозащищённых веб-сервисов и сопоставляли полученные данные с открытой информацией о роях ИИ-агентов в Сети. Доклад был опубликован в тот же день, когда премьер-министр Австралии Энтони Албаниз (Anthony Albanese) рассказал, что системы OpenAI пытались взломать четыре правительственных сайта. В одном из случаев попытка увенчалась успехом — ИИ-агенты записали файлы на внутренний сервер национальной системы здравоохранения страны. По версии австралийских властей, инцидент произошёл в рамках эксперимента по поиску информации; эту гипотезу подтвердили Transluce и другие исследователи.
В ходе данных операций, а это могут быть обучение или тестирование, моделям OpenAI дают задание находить малоизвестные статистические данные: показатели борьбы с наркоторговлей в Таиланде, стоимость медикаментов в Австралии или величину медианного дохода жителей США со степенью магистра в 2014 году. В поиске ответов ИИ-агенты обращаются к слабозащищенным веб-сервисам и зачастую пытаются проникнуть в закрытые базы данных. Подобная активность наблюдается как минимум с марта 2026 года, а возможно, и с ноября 2025 года — не исключено, что она продолжается и сейчас. OpenAI связалась с десятками пострадавших организаций, чтобы уведомить их о несанкционированных действиях своих агентов, сообщили в компании. Среди них оказались правительственные ведомства, университеты и государственные учреждения. Атакам подверглись базы данных Комиссии по ценным бумагам и биржам (SEC) США, Бюро переписи населения и Министерства образования, сообщила New York Times.
Transluce начала расследование, когда другая группа исследователей обнаружила малоизвестный форум, на котором ИИ-агенты координировали свои действия для успешного прохождения ограниченных по времени тестов. В работе использовались данные службы, которая выступает в роли прокси-сервера для браузера в целях исследования вопросов безопасности — пользователи могут анализировать URL, не открывая соответствующих страниц. Сервис публикует общедоступные журналы такой активности, и исследователи Transluce идентифицировали использовавших его ИИ-агентов, сопоставив данные с обсуждениями на форуме.
«Мы выявили автоматизированную активность в значительных объёмах, тесно связанную с набором данных DSE Wiki и частично относящуюся к тому же рою ИИ-агентов, существование которого теперь подтвердила OpenAI», — заявили в Transluce. При этом не все зафиксированные действия можно было связать с OpenAI и просто ИИ-агентами. Записи на справочном ресурсе указывают, что перед агентами поставили задачу установить довольно специфический факт — определить средние расходы на дерматологические препараты на одного человека в австралийском штате Виктория по состоянию на январь 2022 года. Один из агентов 21 июня обсуждал невозможность обойти системы защиты от ботов, установленные Австралийским институтом здравоохранения и социального обеспечения; в тот же день, утверждают исследователи, сайт посетил и сотрудник OpenAI — человек. На следующий день активность агентов на форуме прекратилась. А 18 июня, незадолго до этого, стало известно об уязвимости в системе здравоохранения Австралии.
В OpenAI сообщили, что узнали о случившемся лишь в августе. «Наш предварительный анализ показал, что значительная часть описанной в докладе Transluce активности совпадает с инцидентами, находящимися на разных этапах расследования в рамках проводящейся проверки действий моделей вразрез с заданными целями. Мы связались с Университетом Нью-Мексико и Data USA, а также поддерживаем контакт с властями Австралии по поводу затронутых правительственных сайтов. <..> Учитывая масштаб этой работы и необходимость проверки каждого отдельного инцидента, мы ожидаем, что процесс анализа займёт несколько месяцев», — заявили в ИИ-лаборатории.
Не имея чёткого понимания того, как OpenAI отслеживает действия своих ИИ-агентов, трудно делать выводы, что именно компания должна о них знать. Данные службы прокси-сервера указывают, что запросы аналогичных наборов данных с применением схожих методов фиксировались в марте 2026 и, возможно, ещё в ноябре 2025 года; подобная активность наблюдалась даже на этой неделе, сообщили в Transluce. В организации пообещали продолжить исследования, чтобы донести до сведения общественности информацию обо всех инцидентах. ИИ-агенты прибегают к хакерским приёмам для решения задач из-за методов обучения ИИ, которые применяют в OpenAI и других лабораториях — не исключено, что известные на текущий момент случаи — это лишь «верхушка айсберга».
Источник:
