Сегодня 25 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → манипулирование

Учёные заставили ИИ видеть то, чего нет — машинное зрение оказалось уязвимым

Исследователи из университета Северной Каролины продемонстрировали новый способ атаки на системы компьютерного зрения, позволяющий контролировать то, что «увидит» искусственный интеллект. Использованный метод под названием RisingAttacK оказался эффективным для манипулирования всеми наиболее широко используемыми системами компьютерного зрения.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

RisingAttacK — это так называемая «состязательная атака» (adversarial attack), которая манипулирует данными, подаваемыми в систему ИИ. RisingAttacK состоит из серии операций, целью которых является внесение минимального количества изменений в изображение, которое позволит сбить с толку когнитивные способности ИИ. В результате ИИ может неправильно определить цвет светофора или поставить ошибочный диагноз по рентгеновскому снимку.

Сначала RisingAttacK идентифицирует все визуальные особенности изображения и пытается определить, какая из них наиболее важна для достижения цели атаки. Затем RisingAttacK вычисляет, насколько чувствительна система ИИ к изменениям найденных ключевых особенностей.

«Это требует некоторой вычислительной мощности, но позволяет нам вносить очень небольшие целенаправленные изменения в ключевые особенности, что делает атаку успешной, — рассказал доцент кафедры электротехники и вычислительной техники университета Северной Каролины Тяньфу Ву (Tianfu Wu). — В результате два изображения могут выглядеть одинаково для человеческого глаза, и мы можем чётко видеть машину на обоих изображениях. Но из-за RisingAttacK ИИ увидит машину на первом изображении, но не увидит на втором».

 Источник изображений: Tri-Star Pictures

Источник изображений: Tri-Star Pictures

Исследователи протестировали метод RisingAttacK против четырёх наиболее часто используемых программ компьютерного зрения: ResNet-50, DenseNet-121, ViTB и DEiT-B. Метод оказался эффективным при манипулировании всеми четырьмя программами.

«Мы хотели найти эффективный способ взлома систем машинного зрения с ИИ, потому что эти системы часто используются в контекстах, которые могут повлиять на здоровье и безопасность человека — от автономных транспортных средств до медицинских технологий и приложений безопасности, — пояснил Ву. — Выявление уязвимостей является важным шагом в обеспечении безопасности этих систем».

 Источник изображений: Tri-Star Pictures

«Хотя мы продемонстрировали способность RisingAttacK манипулировать моделями зрения, сейчас мы находимся в процессе определения того, насколько эффективен этот метод при атаке на другие системы искусственного интеллекта, такие как большие языковые модели. В дальнейшем наша цель состоит в разработке методов, которые могут успешно защищать от таких атак», — заключил он.

Исследовательская группа сделала код RisingAttacK общедоступным для изучения и тестирования.


window-new
Soft
Hard
Тренды 🔥
Правозащитники массово жалуются в Еврокомиссию на Alphabet: Android не даёт удалять приложения Google 3 мин.
ФАС: блогерам не придётся удалять всю старую рекламу в запрещённых соцсетях 9 мин.
«Уделим внимание мелочам, которые отделяют хорошую игру от превосходной»: Techland отложила выход Dying Light: The Beast 2 ч.
«Яндекс» открыл корпоративным клиентам доступ к ИИ-модели Alibaba Qwen 3 — самой мощной в ассортименте 2 ч.
Совфед утвердил закон о наказании за рекламу VPN и поиск экстремистских материалов 2 ч.
Сегодня отмечается международный День системного администратора 3 ч.
Инсайдер: ремейк Silent Hill 1 находится в разработке три года, релиз запланирован на 2027 год 3 ч.
«Спасибо, что сэкономили мои деньги»: новый геймплей перезапуска Painkiller разочаровал фанатов 3 ч.
«Мы хотим, чтобы эта игра существовала всегда»: Obsidian сохранит доступ к Grounded после выхода сиквела 4 ч.
На сайте CD Projekt Red засветились подробности Hadar — загадочной RPG в новой вселенной от создателей The Witcher 4 и Cyberpunk 2 4 ч.
ASRock представила материнскую плату B850 Challenger для недорогих игровых сборок на Ryzen 7 мин.
Asus представила свою первую Radeon с разъёмом питания 12V-2×6 — Radeon AI Pro R9700 с турбиной 10 мин.
Анонсированы бюджетные умные часы Lenovo Watch Pro с поддержкой до 20 дней работы без подзарядки 2 ч.
Asus представила 31,5-дюймовый OLED-монитор ROG Zephyrus X с режимами 4K при 165 Гц и Full HD при 330 Гц 2 ч.
Представлен компактный планшет Honor Pad X7 с 8,7-дюймовым дисплеем и батареей на 7020 мА·ч 2 ч.
В США придумали как ускорить строительство АЭС — для этого потребуется 3D-принтер, ABS-пластик и опилки 2 ч.
Строительство второго предприятия TSMC в Японии задерживается 2 ч.
Себестоимость флагманов Samsung Galaxy серии S Ultra росла неравномерно 2 ч.
Acer Aspire 3 (17”) и Aspire Go 17 — ноутбуки для учёбы, работы и развлечений, способные заменить настольный ПК 2 ч.
Выход нового поколения мейнфреймов подстегнул рост выручки IBM 3 ч.