MWC 2018
2018
Computex
IFA 2018
Компания Anthropic опубликовала отчёт, в котором подробно изложила выявленные случаи недопустимого и потенциально опасного использования её моделей искусственного интеллекта семейства Claude. Документ включает семь разделов: кибероперации, слежка, операции влияния, разработка вооружений, биологические сценарии, мошенничество и дистилляция.
Источник изображений: anthropic.com
ИИ-модели семейства Claude использовались киберпреступниками для реальных взломов. Одна из группировок развернула атаки на более чем 20 организаций — ИИ использовался для разведки, подготовки фишинговых схем, прямого запуска атак, кражи учётных данных, продвижения по взломанным сетям и обработки похищенной информации. Claude не только писал вредоносный код, но и адаптировал его для конкретного окружения: когда система защиты на целевом ресурсе обнаруживала вредонос, ИИ выявлял причину обнаружения, переписывал программу, пересобирал и снова запускал её — цикл повторялся, пока защита не переставала реагировать на вторжение. Другая группировка киберпреступников использовала Claude для анализа кода в 1,8 млн приложений для Android на предмет поиска ключей и прочих учётных данных — они впоследствии использовались для взлома корпоративных сетей и кражи информации. В одном случае удалось похитить более терабайта данных, в другом добычей киберпреступников стали несколько десятков миллионов записей о пассажирах одной авиакомпании.
ИИ-помощник Anthropic Claude использовался как вспомогательное средство для слежки за гражданами разных стран. Он, в частности, создал систему массового перехвата коммуникаций, способную работать с сетями всех мобильных операторов одной из африканских стран. В другой стране его использовали для разработки вредоносного расширения для браузера Mozilla Firefox, которое собирало сведения о пользователях соцсетей. В третьей стране Claude помог в обработке огромных массивов публикаций в соцсетях: определял местоположение людей, их демографические характеристики и политические взгляды.
Обнаружены девять операций влияния, в которых Anthropic Claude сыграл важную роль. Разрабатывались и наполнялись новостные сайты с фальшивыми материалами, регистрировались тысячи учётных записей в соцсетях, для которых готовились материалы и комментарии. В рамках только одной операции были созданы около тысячи учётных записей в соцсети X — предусматривался даже период «прогрева», чтобы создать впечатление, что материалы публикуют реальные люди. Некоторые из таких операций Anthropic обнаруживала на стадии подготовки, поэтому они не доходили до аудитории.
Четвёртая группа сценариев применения Anthropic Claude — сфера вооружений. ИИ-помощник использовался в разработке ПО для оружейных систем: управляемых ракет, торпед, роя дронов, а также системы наведения радиоэлектронной борьбы и подавления ПВО. ИИ помогал в поиске и закупках компонентов вооружений, а также для сбора разведывательной информации. Речь идёт не о проектировании оружия с нуля — у подобных пользователей уже были специалисты, оборудование и готовые военные программы, поэтому Claude привлекался для отдельных задач.
Anthropic приводит пять случаев недопустимого применения Claude в области биологии. Это были реальные научные работы с двойным назначением, то есть их результаты могли использоваться как в медицине, так и для создания опасных биологических агентов. Исследовались аспекты работы одного из вирусов, в том числе его способность к распространению и уклонению от иммунной системы человека. Claude использовался преимущественно для планирования исследований, анализа данных и научной литературы. В наиболее опасных случаях защитные механизмы Anthropic ограничивали доступ к более мощным моделям, однако часть запросов, имевших двойное назначение, проходила без блокировки. Anthropic не утверждает, что указанные исследователи имели некий злой умысел, но их работа могла иметь двойное назначение.
По направлению мошеннических действий самым наглядным инцидентом стала разработка китайской компанией сети из более чем 20 приложений для знакомств — в них пользователи общались не только с реальными людьми, но и с ИИ-персонажами, которые выдавали себя за людей. За две недели Anthropic удалось обнаружить более 4700 таких персонажей — с ними вели переписку не менее 25 000 реальных пользователей. В ряде случаев управление персонажами перехватывали операторы — например, для подтверждения контакта или при видеозвонке. За две недели были отправлены около 2,36 млн сообщений, в том числе изображения и подсказки для операторов.
Наконец, Anthropic рассказала об инцидентах с незаконной дистилляцией своих моделей, прямо указав, какие китайские компании, по её версии, проводили такие операции. Связанные с Alibaba компании создали 3500 учётных записей, и в пиковый момент генерировали до 3 млн обращений к Claude в сутки. Это были задачи на рассуждения, написание кода, разработку ядра ОС, задачи для агентов и задачи с длительными последовательностями действий — всё это конвертировалось в обучающие данные для моделей Qwen, утверждают в Anthropic.
Китайские разработчики DeepSeek, Xiaomi и Moonshot перенаправляли запросы клиентов в Claude вместо того, чтобы обрабатывать их с помощью собственных моделей. Moonshot AI за десять дней отправила в Claude почти 300 тыс. запросов, а DeepSeek сделала 12,1 млн обращений за две недели, включая попытки дистилляции. При этом ответы, полученные от Claude, к тому же используются как обучающие данные для собственных моделей китайских компаний. Среди этих данных присутствовала личная информация пользователей: имена, адреса электронной почты, корпоративные сведения и учётные данные для доступа к системам. Приводятся примеры с передачей ИИ финансовых прогнозов компаний.
Источник:
