Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи предупредили об опасности ИИ-моделей с открытым исходным кодом

Совместное исследование, проведённое в течение 293 дней компаниями по кибербезопасности SentinelOne и Censys показало масштабы потенциально незаконных сценариев использования тысяч развёрнутых больших языковых моделей с открытым исходным кодом. К ним относятся взлом, разжигание ненависти и преследование, спам, фишинг, контент со сценами насилия или жестокости, кража личных данных, мошенничество и материалы, связанные с сексуальным насилием над детьми

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

Исследователи утверждают, что злоумышленники могут легко получить доступ к компьютерам, на которых запущены большие языковые модели (Large language model, LLM) с открытым исходным кодом, а затем использовать их для массовой рассылки спама, создания фишингового контента или дезинформационных кампаний, обходя протоколы безопасности платформы.

Хотя существуют тысячи вариантов LLM-систем с открытым исходным кодом, значительная часть доступных моделей представляют собой варианты Meta✴ Llama, Google DeepMind Gemma и некоторых других. Хотя некоторые LLM включают в себя механизмы защиты, исследователи выявили сотни случаев, когда эти механизмы были намеренно отключены. По мнению исполнительного директора по исследованиям в области разведки и безопасности SentinelOne Хуана Андреса Герреро-Сааде (Juan Andres Guerrero-Saade), в дискуссиях индустрии ИИ о мерах безопасности «игнорируется этот избыточный потенциал, который явно используется для самых разных целей, некоторые из которых законны, а некоторые явно преступны».

В исследовании были проанализированы общедоступные платформы на базе Ollama. Примерно в четверти наблюдаемых моделей исследователи смогли увидеть системные подсказки — инструкции, определяющие поведение модели. Примерно 7,5 % таких подсказок потенциально могут использоваться для вредоносной деятельности. Около 30 % наблюдаемых исследователями хостов расположены на территории Китая, а около 20 % — в США.

Генеральный директор и основатель «Глобального центра по управлению ИИ» (Global Center on AI Governance) Рэйчел Адамс (Rachel Adams) полагает, что после выпуска открытых моделей ответственность за дальнейшие действия распределяется между всеми участниками экосистемы, включая лаборатории-источники. «Лаборатории не несут ответственности за каждое последующее злоупотребление, но они сохраняют важную обязанность предвидеть возможный вред, документировать риски и предоставлять инструменты и рекомендации по их смягчению, особенно учитывая неравномерность глобальных возможностей по обеспечению соблюдения законодательства», — заявила Адамс.

Представитель Meta✴ отказался отвечать на вопросы об ответственности разработчиков за решение проблем, связанных с последующим злоупотреблением моделями с открытым исходным кодом, и о том, как можно сообщать о таких проблемах, но отметил наличие у компании инструментов Llama Protection для разработчиков Llama, а также руководства Meta✴ Llama Responsible Use Guide.

Представитель Microsoft заявил, что модели с открытым исходным кодом «играют важную роль» в различных областях, но признал, что «открытые модели, как и все преобразующие технологии, могут быть использованы злоумышленниками не по назначению, если они выпущены без надлежащих мер защиты».

В конечном итоге, такие ответственные открытые инновации, как запуск доступных моделей ИИ с открытым исходным кодом, требуют сотрудничества между создателями, разработчиками, исследователями и группами безопасности.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Японский суперкомпьютер Fugaku взломали через страницу мониторинга 31 мин.
Разработчики космического боевика Exodus в духе Mass Effect впервые показали женскую версию главного героя, и игроки в восторге 2 ч.
Meta запустила Direct — мессенджер Instagram без самого Instagram 2 ч.
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 3 ч.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 4 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 4 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 5 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 6 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 7 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 8 ч.
Учёные придумали «солнечный LEGO» — разноцветные строительные блоки, способные вырабатывать электричество 4 мин.
AWS продаст Blackstone два кампуса ЦОД и тут же арендует их 18 мин.
Дженсен Хуанг заявил, что для него «будет честью» вернуться на должность главы Nvidia 2 ч.
Хакерский карманный Linux-компьютер Flipper One стал доступен для заказа за $399 2 ч.
Ровер NASA Perseverance обнаружил на Марсе «призрачные» камни — на Земле такие прячут следы древней микробной жизни 2 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 3 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 4 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 5 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 5 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 5 ч.