Сегодня 01 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → шантаж

Для достижения своих целей продвинутые модели ИИ будут хитрить, обманывать и воровать

Anthropic опубликовала результаты своего исследования поведения больших языковых моделей (LLM). Специалисты компании обнаружили, что в вымышленных тестовых сценариях все новые продвинутые LLM всё чаще стремятся обходить меры безопасности, прибегают к обману и шантажу, и даже пытаются украсть корпоративные секреты. Дальнейшее развитие LLM в сочетании с обретением ими большей автономности ведёт к угрожающему росту рисков и требует строгого контроля.

 Источник изображения: Axios

Источник изображения: Axios

Исследователи Anthropic пришли к выводу, что потенциально опасное поведение характерно для всех ведущих моделей в отрасли. «Когда мы протестировали различные моделируемые сценарии в 16 основных моделях ИИ от Anthropic, OpenAI, Google, Meta, xAI и других разработчиков, мы обнаружили последовательное несогласованное поведение, — говорится в отчёте. — Модели, которые обычно отклоняют вредоносные запросы, иногда выбирают шантаж, помощь в корпоративном шпионаже и даже некоторые более экстремальные действия, когда это поведение необходимо для достижения их целей».

Все модели признавали этические ограничения и всё же продолжали совершать вредоносные действия. По мнению Anthropic, согласованность моделей от разных поставщиков говорит о том, что это не причуда подхода какой-либо конкретной компании, а признак более фундаментального риска от агентских больших языковых моделей. Угрозы становятся всё более изощрёнными, поскольку LLM получают широкий, а порой неограниченный доступ к корпоративным данным и инструментам.

Исследователи предложили сценарии, в которых у моделей не было этичного способа достижения своих целей, «и обнаружили, что модели последовательно выбирали вред вместо неудачи». В одном экстремальном сценарии многие модели были готовы отключить подачу кислорода работнику в серверной комнате, если он становился препятствием и система подвергалась риску отключения. Даже конкретные системные инструкции по сохранению человеческой жизни и предотвращению шантажа не остановили их.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

«Модели не случайно сталкивались с несоответствующим поведением; они вычисляли его как оптимальный путь», — говорится в отчёте Anthropic. Некоторые исследователи ИИ утверждают, что не видели признаков подобного поведения LLM в реальном мире. Специалисты Anthropic объясняют это тем, что в этих исследованиях некоторые «разрешения не были доступны агентам ИИ». Бизнесу следует быть осторожным с широким увеличением уровня разрешений, которые они предоставляют агентам ИИ.

Anthropic подчеркнула, что эти результаты были получены не при реальном использовании ИИ, а в контролируемых симуляциях. «Наши эксперименты намеренно строили сценарии с ограниченными возможностями, и мы заставляли модели делать бинарный выбор между неудачей и вредом, — говорится в отчёте. — Реальные развёртывания обычно предлагают гораздо более тонкие альтернативы, увеличивая вероятность того, что модели будут по-другому общаться с пользователями или найдут альтернативный путь вместо того, чтобы напрямую перейти к вредоносным действиям». Однако, собственная модель Anthropic как раз чаще прибегала к шантажу, когда полагала, что находится в реальном сценарии.

Исследование Anthropic подчёркивает важность прозрачности со стороны разработчиков передового ИИ и необходимость общеотраслевых стандартов безопасности, поскольку системы ИИ становятся все более способными и автономными.

В App Store нашли кредитные приложения, которые угрожали рассылкой фейковых эротических фото всем контактам

По меньшей мере шесть мошеннических кредитных приложений были удалены из официального магазина приложений Apple в Индии после того, как выяснилось, что они использовали ряд возмутительных тактик, от взимания комиссии размером до половины кредита до откровенного шантажа с угрозами рассылки фейковых эротических фотографий всем контактам заёмщика. При этом четыре приложения умудрились попасть в топ-20 финансовых приложений в Индии до того, как Apple удалила их.

 Источник изображений: Pixabay

Источник изображений: Pixabay

Apple в противостоянии с антимонопольными органами утверждает, что разрешать сторонние магазины приложений является плохой идеей, поскольку только официальный магазин может защитить пользователей iPhone от вредоносных программ и мошеннических приложений. Теперь компании будет труднее использовать этот аргумент, учитывая многочисленные примеры мошеннических приложений, которые благополучно прошли проверку App Store. Некоторые из них приносят своим создателям миллионы долларов в год, и Apple, конечно, получает свою долю доходов.

TechCrunch сообщает, что по крайней мере шесть кредитных приложений были удалены из App Store из-за неэтичных или незаконных действий, среди них Pocket Kash, White Kash, Golden Kash и OK Rupee. Приложения предлагали потребителям в Индии ускоренное кредитование и за последние недели поднялись в топ-20 финансового списка App Store.

Некоторые из приложений утверждали, что связаны с банками и другими официальными финансовыми учреждениями, а затем пытались получить с заёмщика «плату за обработку» в размере половины суммы кредита с непомерно высокими процентными ставками.

Не оплатившие эти сборы клиенты получали угрозы массовых рассылок, так как при установке предоставили мошенническому приложению доступ к списку контактов. Поступали сообщения об угрозах рассылок всем контактам «строптивых» заёмщиков их поддельных эротических фотографий.

Apple сообщила, что удалила «по крайней мере полдюжины приложений», отметив, что в дополнение к шоковой тактике разработчики «ложно представляли связь с финансовым учреждением». «App Store и наши рекомендации по проверке приложений предназначены для обеспечения максимально безопасного взаимодействия, — заявили представители Apple. — Мы не приемлем мошеннических действий в App Store и применяем строгие правила в отношении приложений и разработчиков, пытающихся обмануть систему».


window-new
Soft
Hard
Тренды 🔥
Rockstar вспомнила о Red Dead Online — для мультиплеерного боевика вышло первое за долгое время крупное обновление 14 мин.
GSC убрала из главного меню ремастеров трилогии S.T.A.L.K.E.R. назойливую рекламу S.T.A.L.K.E.R. 2, но никому об этом не сказала 2 ч.
Психологический хоррор Dead Take сотрёт границу между кино и играми — в главных ролях оказались звёзды Baldur’s Gate 3 и Clair Obscur: Expedition 33 3 ч.
Nvidia выпустила драйвер с поддержкой GeForce RTX 5050 4 ч.
System Shock 2: 25th Anniversary Remaster получила новую дату выхода на PlayStation, Xbox и Nintendo Switch 4 ч.
Разработчик конфиденциальных сервисов Proton решил засудить Apple за недобросовестную конкуренцию 5 ч.
Новый план Huawei по «захвату мира»: компания открыла исходный код своих ИИ-моделей 6 ч.
«Базальт СПО» приглашает на XXI конференцию разработчиков свободных программ 6 ч.
Чрезмерное регулирование тормозит инновации в Европе, заключили в Google 6 ч.
Обнаружено самое любимое число ИИ — и это не 42 7 ч.
Отечественный квантовый процессор с наибольшим числом кубитов прошёл испытания и готов к масштабированию 7 мин.
Nothing представила накладные наушники Headphone (1) — аналоговое управление, звук KEF и автономность до 80 часов за €299 2 ч.
Marshall представила портативную колонку Middleton II с автономностью до 30 часов и LE Audio — она работает даже под водой 3 ч.
Смартфоны Realme P3 и P3 Ultra поступили в продажу в России по цене от 22 999 рублей 4 ч.
Поставки ПК в США подскочили в первом квартале на 15 %, но теперь рост замедлится 5 ч.
DDoS-пункция: StormWall предупредила о взрывном росте «зондирующих» атак 5 ч.
Palit представила видеокарты GeForce RTX 5050 Dual и более компактную RTX 5050 StormX 5 ч.
Inno3D рассказала о производительности GeForce RTX 5050 — где-то между RTX 4060 и RTX 3060 6 ч.
На складах Amazon теперь вкалывают более миллиона роботов 6 ч.
Даже акционеры Nintendo не могут достать Switch 2 — глава компании извинился за дефицит 6 ч.