Сегодня 04 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Учёные заставили ИИ видеть то, чего нет — машинное зрение оказалось уязвимым

Исследователи из университета Северной Каролины продемонстрировали новый способ атаки на системы компьютерного зрения, позволяющий контролировать то, что «увидит» искусственный интеллект. Использованный метод под названием RisingAttacK оказался эффективным для манипулирования всеми наиболее широко используемыми системами компьютерного зрения.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

RisingAttacK — это так называемая «состязательная атака» (adversarial attack), которая манипулирует данными, подаваемыми в систему ИИ. RisingAttacK состоит из серии операций, целью которых является внесение минимального количества изменений в изображение, которое позволит сбить с толку когнитивные способности ИИ. В результате ИИ может неправильно определить цвет светофора или поставить ошибочный диагноз по рентгеновскому снимку.

Сначала RisingAttacK идентифицирует все визуальные особенности изображения и пытается определить, какая из них наиболее важна для достижения цели атаки. Затем RisingAttacK вычисляет, насколько чувствительна система ИИ к изменениям найденных ключевых особенностей.

«Это требует некоторой вычислительной мощности, но позволяет нам вносить очень небольшие целенаправленные изменения в ключевые особенности, что делает атаку успешной, — рассказал доцент кафедры электротехники и вычислительной техники университета Северной Каролины Тяньфу Ву (Tianfu Wu). — В результате два изображения могут выглядеть одинаково для человеческого глаза, и мы можем чётко видеть машину на обоих изображениях. Но из-за RisingAttacK ИИ увидит машину на первом изображении, но не увидит на втором».

 Источник изображений: Tri-Star Pictures

Источник изображений: Tri-Star Pictures

Исследователи протестировали метод RisingAttacK против четырёх наиболее часто используемых программ компьютерного зрения: ResNet-50, DenseNet-121, ViTB и DEiT-B. Метод оказался эффективным при манипулировании всеми четырьмя программами.

«Мы хотели найти эффективный способ взлома систем машинного зрения с ИИ, потому что эти системы часто используются в контекстах, которые могут повлиять на здоровье и безопасность человека — от автономных транспортных средств до медицинских технологий и приложений безопасности, — пояснил Ву. — Выявление уязвимостей является важным шагом в обеспечении безопасности этих систем».

 Источник изображений: Tri-Star Pictures

«Хотя мы продемонстрировали способность RisingAttacK манипулировать моделями зрения, сейчас мы находимся в процессе определения того, насколько эффективен этот метод при атаке на другие системы искусственного интеллекта, такие как большие языковые модели. В дальнейшем наша цель состоит в разработке методов, которые могут успешно защищать от таких атак», — заключил он.

Исследовательская группа сделала код RisingAttacK общедоступным для изучения и тестирования.

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Конец эпохи: Intel закрыла приложение Unison для синхронизации ПК и смартфонов 26 мин.
Минюст США убедил Google и Apple не блокировать TikTok, пообещав их не штрафовать 32 мин.
Destiny: Rising не заставит себя долго ждать — дата выхода и новый геймплейный трейлер 5 ч.
Anthem уйдёт в вечный офлайн — Electronic Arts скоро отключит серверы провального шутера 6 ч.
«Базальт СПО» представила в Китае российский ПАК с китайскими чипами Loongson 7 ч.
Петиция «Прекратите убивать игры» набрала миллион подписей для рассмотрения в Евросоюзе, но борьба ещё не окончена 8 ч.
Аналитики раскрыли продажи Death Stranding 2: On the Beach — игра уже стала хитом на PlayStation 5 9 ч.
Windows 11 становится всё популярнее среди геймеров — на неё переходят не только с Windows 10 10 ч.
Новый шутер от соавтора Doom Джона Ромеро оказался под угрозой — из-за увольнений в Microsoft студия осталась без денег и сотрудников 10 ч.
39 млн записей с персональными данными россиян утекло за первое полугодие 12 ч.
E Ink придумала встроить в тачпад ноутбука экран на электронных чернилах — для общения с ИИ и не только 4 ч.
Новая статья: ИИтоги июня 2025 г.: ой, да было бы что заменять! 5 ч.
Transcend выпустила свой самый быстрый SSD для ПК — MTE260S со скоростью до 14 000 Мбайт/с 7 ч.
«Большой прекрасный закон» Трампа сулит тёмные времена солнечной энергетике США 7 ч.
Nothing Phone (3) для Индии получил более ёмкую батарею, чем для США и Европы 7 ч.
Дело о растрате 6 млрд рублей при создании «планшета Чубайса» дошло до суда 7 ч.
Tesla подтвердила падение спроса на Cybertruck до 5000 единиц в квартал — на порядок ниже изначального плана 8 ч.
Nvidia сегодня может отобрать у Apple звание самой дорогой компании в истории 9 ч.
В России поступили в продажу беспроводные наушники Realme Buds T200x, Buds T200 Lite и Buds Air7 — от 1699 рублей 9 ч.
Samsung нечаянно раскрыла дизайн будущего тройного складного смартфона 10 ч.