Серверы с большими языковыми моделями ИИ могут сливать в интернет конфиденциальные данные

Сотни серверов с большими языковыми моделями с открытым кодом и десятки — с векторными базами данных способны передавать в открытый интернет информацию с высокой степенью конфиденциальности, гласят результаты исследования, проведённого специализирующейся на вопросах кибербезопасности компанией Legit.

Почему ИИ никак не сесть на безматричную диету

Пять причин полюбить HONOR Magic7 Pro

Пять причин полюбить HONOR Pad V9

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Фитнес-браслет HUAWEI Band 10: настоящий металл

Пять причин полюбить HONOR X8c

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Источник изображений: Pete Linforth / unsplash.com

В рамках исследования эксперт Legit Нафтали Дойч (Naphtali Deutsch) провёл сканирование двух видов потенциально уязвимых служб с искусственным интеллектом: векторных баз данных, в которых хранится информация для инструментов ИИ, а также конструкторов приложений на основе больших языковых моделей, в частности, открытой программы Flowise. По результатам исследования было выявлено множество конфиденциальных персональных и корпоративных данных, которые неосознанно раскрывают организации, стремящиеся поставить себе на службу инструменты с генеративным ИИ.

Flowise — программа с открытым кодом, предназначенная для создания приложений всех видов, основанных на больших языковых моделях. Это могут быть чат-боты для поддержки клиентов или средства для генерации программного кода, и все они, как правило, имеют доступ к большим объёмам данных и управляют ими, поэтому большинство серверов Flowise защищается паролями. Но пароль — недостаточно надёжный механизм защиты: ранее индийский исследователь обнаружил во Flowise 1.6.2 и более ранних версиях уязвимость, позволяющую обходить аутентификацию, просто набирая заглавные буквы в обращениях к программе через API. Уязвимость отслеживается под номером CVE-2024-31621 и имеет «высокий» рейтинг в 7,6 балла из 10.

Эксплуатируя уязвимость, эксперт Дойч взломал 438 серверов Flowise. Он получил доступ к токенам доступа API GitHub, ключам API OpenAI, паролям Flowise, прочим ключам API в открытом виде, данным конфигурации и запросам, связанным с приложениями Flowise, а также многим другим данным. Токен API GitHub открывает доступ к закрытым репозиториям, пояснил исследователь; были также обнаружены ключи API и для других векторных баз данных, включая Pinecone — популярную SaaS-платформу. Потенциальный злоумышленник мог воспользоваться ими, чтобы войти в базу данных и выгрузить всю найденную информацию, в том числе конфиденциальную.

Используя инструменты сканирования, Дойч обнаружил около 30 серверов с векторными базами данных в открытом интернете без каких-либо средств аутентификации, и в них была конфиденциальная информация: электронные письма от поставщика инженерных услуг; документы, полученные от специализирующейся на моде компании; персональные данные клиентов и финансовую информацию от поставщика промышленного оборудования; а также многое другое. В других базах были данные об объектах недвижимости, документация, технические паспорта товаров и даже используемая медицинским чат-ботом информация о пациентах.

Утечка векторной базы данных опаснее, чем утечка данных от конструктора с большой языковой моделью, поскольку несанкционированный доступ к базе может остаться незамеченным для пользователя. Потенциальный злоумышленник может не только похитить информацию из векторной базы данных, но также удалить или изменить информацию в ней и даже внедрить в неё вредоносное ПО, которое заразит большую языковую модель. Чтобы снизить подобные риски, Дойч рекомендует организациям ограничивать доступ к службам ИИ, отслеживать и регистрировать связанную с ними активность, принимать меры для защиты конфиденциальных данных, которые передаются большими языковыми моделями, а также по возможности обновлять связанное с этими средствами ПО.