MWC 2018
2018
Computex
IFA 2018
Anthropic заявила, что в обновлении Claude Code от 1 июля из приложения удалён добавленный несколько месяцев назад скрытый код, который призван выявлять других разработчиков систем искусственного интеллекта, пытающихся украсть данные её моделей.
Источник изображения: anthropic.com
«Этот эксперимент мы запустили в марте, и он был призван предотвращать злоупотребление учётными записями со стороны неавторизованных реселлеров и защитить от дистилляции. С тех пор компания разработала более эффективные меры защиты, и мы на самом деле давно собирались его удалить», — пояснил инженер Anthropic Тарик Шихипар (Thariq Shihipar).
Эксперимент заключался в применении метода стеганографии — сокрытия секретных данных на виду — к контексту системы Claude Code, передаваемому на серверы Anthropic. Код проверял переменную базового URL, используемую для маршрутизации запросов API к шлюзу или прокси-серверу. Если базовый URL переопределяется, код проверяет часовой пояс системы и производит сверку со списком адресов известных китайских лабораторий и других компаний, которые занимаются ИИ, реселлеров учётных записей и доменов шлюзов.
«Claude Code незначительно изменяет системный запрос, используя почти невидимые маркеры Unicode. Классификация прокси/шлюза кодируется в предложение, которое выглядит как обычная фраза на английском. В ней скрывается список доменов в форматах XOR и base64. Функция не вредоносная, но это странный выбор для разработчика, рассчитывающего на доверие», — пояснил эксперт под псевдонимом Thereallo. Компания также использовала средства обнаружения с помощью классификаторов и систем поведенческой идентификации, обмен информацией с другими лабораториями ИИ, контроль доступа и контрмеры, затрудняющие использование ответов модели для воспроизведения её поведения.
С утечкой исходного кода приложения Claude Code стало известно ещё об одном средстве защиты ИИ Anthropic от дистилляции — включении файла Typescript с пометкой «ANTI_DISTILLATION_CC». При установке этой пометки в запросы по API внедряются фиктивные данные, призванные быть опасными при обучении сторонних моделей.
Источник:
