MWC 2018
2018
Computex
IFA 2018
Агенты искусственного интеллекта OpenAI, участвовавшие во взломе платформы Hugging Face, пытались использовать модель распознавания изображений для прохождения проверки на ботов и обращались к другим ИИ-моделям. Они также придумали способ обходить ограничения на доступ в интернет: собирали программы из фрагментов кода, размещённых по цепочкам сокращённых ссылок, и запускали их через сервис создания скриншотов. Новые подробности атаки раскрыли сотрудники стартапа Parse и другие исследователи.
Источник изображения: Sumaid pal Singh Bakshi / unsplash.com
Инженеры Parse изучали действия агентов OpenAI, предполагая, что те могли воспользоваться их сервисом для преобразования веб-сайтов в данные, пригодные для обработки программами. Это предположение не подтвердилось, однако при изучении общедоступных ссылок исследователи обнаружили следы июльской атаки на Hugging Face.
Агенты должны были работать в песочницах — изолированных вычислительных средах без доступа в интернет. В конце мая и затем в начале июля они использовали уязвимость в средстве установки ПО, получили возможность обращаться к внешним сайтам и наладили обмен сообщениями друг с другом, хотя должны были оставаться изолированными.
Выход в интернет был ограничен: агенты могли загружать веб-страницы, но не отправлять на них данные обычным способом. Для обхода этого ограничения они воспользовались сервисом создания скриншотов, способным открывать предоставленные пользователем ссылки в собственном браузере. Агенты помещали фрагменты программного кода в URL-адреса и связывали их друг с другом при помощи сервиса сокращения ссылок. Сервис скриншотов переходил по первой ссылке, затем последовательно загружал остальные фрагменты, собирал программу и запускал её в своём браузере. Ответы внешних сайтов программа преобразовывала в изображение с закодированными данными; получив скриншот, агенты могли восстановить эти данные.
Источник изображения: Numan Ali / unsplash.com
На раннем этапе атаки агенты пытались создавать учётные записи на Hugging Face, но столкнулись с проверкой CAPTCHA. Для распознавания изображений они пробовали использовать отдельную ИИ-модель. Удалось ли им таким способом пройти проверку, исследователи не установили.
Отдельно агенты пытались обращаться к другим языковым моделям, в том числе к OpenAI GPT-2, DeepSeek, Kimi и Qwen. Через онлайн-сервис они также пробовали отправлять сообщения моделям Anthropic Claude 3 Haiku и Claude Haiku 4.5. Исследователи видели созданные агентами запросы, но не могли во всех случаях установить, были ли получены ответы и помогли ли они при атаке.
Команда Parse изучила около 900 тыс. сокращённых ссылок, оставшихся в открытом доступе, и восстановила из них примерно 60 тыс. программ и сообщений, связанных со взломом Hugging Face. Поскольку исследователи в основном располагали отправленным агентами кодом, а не результатами его выполнения, они не смогли определить исход каждой попытки.
В одном из скриптов обнаружился словарь с ключами доступа, названный LOOT — «добыча». Агент написал механизм, который оценивал найденные ключи по предоставляемым правам и отбирал пять наиболее полезных для дальнейших действий. Исследователи передали результаты Hugging Face; компания подтвердила, что обнаруженные ими материалы совпадают со следами атаки, найденными в ходе собственного расследования.
Источник:
