Сегодня 18 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Внедрение «водяных знаков» может сделать поведение ИИ-моделей непредсказуемым

Использование «водяных знаков», то есть маркировки генерируемого контента, может оказать влияние на поведение больших языковых моделей искусственного интеллекта. К такому выводу пришли эксперты компании Lasso, проведя анализ технологии SynthID-Text лаборатории Google DeepMind.

 Источник изображения: lasso.security

Источник изображения: lasso.security

Маркировка SynthID-Text влияет на такие аспекты работы модели как её готовность отклонять вредоносные запросы, уязвимость к атакам типа «инъекция запроса», выбор инструментов ИИ-агентами и многое другое. Технология SynthID-Text и аналогичные ей методы маркировки предназначаются для внедрения машиночитаемого индикатора, позволяющего определить, был ли текст сгенерирован ИИ или написан человеком; в действительности же процедура внедрения маркировки может оказать влияние на то, что отвечает ИИ-модель, и на то, что делает ИИ-агент.

Даже без целенаправленной атаки маркировка может менять решение модели об отказе в ответе. В некоторых протестированных моделях это выражалось в большей готовности выполнять потенциально вредоносные запросы, причём при использовании prompt injection различия между маркированной и немаркированной генерацией становились заметнее. При этом эффект зависел от конкретной модели и ключа водяного знака

Ранее в ЕС вступили в силу требования об обязательной маркировке генерируемого ИИ контента, а Anthropic изъявила намерение ввести её для всех типов материалов, включая текстовые. То есть можно ожидать, что практика маркировки ИИ-контента станет массовой среди прочих разработчиков, и это указывает на потенциальный новый источник изменений поведения ИИ-систем, который разработчикам агентов следует учитывать при оценке безопасности

Эксперты Lasso призывают разработчиков не просто развёртывать средства маркировки генерируемых ИИ материалов, но и проводить повторный бенчмаркинг моделей, проверку их безопасности и другие тесты для выявления непредвиденных последствий. Исследование, однако, не следует воспринимать как довод против использования маркировки контента ИИ, оговорились в компании.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft научила Windows окирпичивать украденные ноутбуки — файлы при этом не пострадают 4 ч.
Более 80 % серверов Exchange вышли из строя: Microsoft рассказала, как сама усугубила глобальный сбой Outlook 4 ч.
Microsoft представила семь ИИ-моделей: одни пишут и исправляют код, другие ищут уязвимости, редактируют изображения и общаются голосом 4 ч.
OpenAI представила две «жутко умные» модели ИИ — GPT-6.2 Astra для профи и GPT-6.2 Sol для повседневных дел 5 ч.
Apple тестирует лимиты для Siri AI — за дополнительные сложные запросы придётся платить 5 ч.
Объявлены номинанты The Game Awards 2026 — GTA VI впереди всех, но конкуренты недалеко 5 ч.
У Apple произошёл глобальный сбой — пользователи не могут попасть в iCloud, Apple Music и App Store 6 ч.
Японский суперкомпьютер Fugaku взломали через страницу мониторинга 7 ч.
Разработчики космического боевика Exodus в духе Mass Effect впервые показали женскую версию главного героя, и игроки в восторге 8 ч.
Meta запустила Direct — мессенджер Instagram без самого Instagram 8 ч.
Новая статья: Обзор игрового ноутбука GIGABYTE EAGLE 9MJ: новый средний класс 4 ч.
Samsung готовит телевизор, который следит за зрителями — чтобы ставить кино на паузу, когда те отлучаются 6 ч.
Хакеры взломали мощнейший суперкомпьютер Японии Fugaku — под угрозой оказались данные тысяч учёных 6 ч.
LANL испытает ускорители Maverick-2 — это уже вторая система NextSilicon для Министерства энергетики США 6 ч.
Вентилятор, на котором можно играть в игры: Thermaltake представила Swafan Ultra 120 EX RGB с IPS-экраном 7 ч.
Учёные придумали «солнечный LEGO» — разноцветные строительные блоки, способные вырабатывать электричество 7 ч.
AWS продаст Blackstone два кампуса ЦОД и тут же арендует их 7 ч.
Ровер NASA Perseverance обнаружил на Марсе «призрачные» камни — на Земле такие прячут следы древней микробной жизни 8 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 9 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 11 ч.