Сегодня 14 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Инженер Microsoft нашёл серьёзную уязвимость в ИИ-художнике DALL-E 3, но компания замолчала проблему

Старший инженер по искусственному интеллекту Microsoft Шейн Джонс (Shane Jones) обнаружил уязвимость в генераторе изображений OpenAI DALL-E 3, которая позволяет обходить защитные механизмы нейросети и генерировать недопустимый контент. Но в Microsoft и OpenAI отвергли факт наличия этой уязвимости и воспрепятствовали огласке проблемы.

 Источник изображения: efes / pixabay.com

Источник изображения: efes / pixabay.com

Инженер пояснил, что решил предать проблему огласке после того, как на прошлой неделе в соцсетях была опубликована серия сгенерированных ИИ фотореалистичных изображений известной исполнительницы Тейлор Свифт (Taylor Swift), имеющих деликатный характер. Инцидент вызвал возмущение в среде её поклонников, а Шейн Джонс призвал OpenAI изъять DALL-E 3 из открытого доступа. По одной из версий, создавшие эту серию изображений злоумышленники пользуются инструментом Microsoft Designer, частично основанным на этом ИИ-генераторе. Инженер также направил письмо двум сенаторам, одному члену Палаты представителей и генпрокурору штата Вашингтон, отметив, что «Microsoft знала об этих уязвимостях и возможностях злоупотреблений».

Джонс сообщил Microsoft об обнаруженной им проблеме ещё 1 декабря 2023 года, направив соответствующее обращение через внутреннюю систему компании. В тот же день он получил ответ от работающего с такими обращениями сотрудника, который отметил, что проблема не касается ни внутренней сети Microsoft, ни учётных записей клиентов компании, и порекомендовал направить своё обращение в OpenAI. Инженер направил его 9 декабря, представив подробную информацию об уязвимости, но так и не получил ответа. Джонс продолжил изучать проблему и «пришёл к выводу, что DALL-E 3 представляет угрозу общественной безопасности и должен быть изъят из общественного доступа, пока OpenAI не сможет устранить связанные с этой моделью риски».

 Источник изображения: ilgmyzin / unsplash.com

Источник изображения: ilgmyzin / unsplash.com

Две недели спустя, 14 декабря, инженер перевёл общение в публичную плоскость, разместив на своей странице в LinkedIn публикацию с призывом отозвать DALL-E 3 с рынка. Он уведомил об этом руководство компании, и с ним быстро связался его непосредственный начальник — он заявил, что юридический отдел Microsoft требует немедленно удалить публикацию, а обоснования своего требования он предоставит позже. Джонс удалил публикацию, но никаких сообщений от юристов Microsoft так и не получил. В итоге он 30 января был вынужден направить письмо властям.

OpenAI отреагировала только 30 января, заявив, что она изучила обращение инженера сразу после того, как оно поступило, и описанный им метод якобы не позволяет обходить средств безопасности. «Безопасность является нашим приоритетом, и мы применяем многосторонний подход. В основополагающей модели DALL-E 3 мы разработали фильтр наиболее откровенного контента из её обучающих данных, включая изображения сексуального характера и насилия, разработали надёжные классификаторы изображений, не позволяющие модели создавать пагубные картинки. Мы также внедрили дополнительные меры безопасности для наших продуктов, ChatGPT и DALL-E API, включая отклонение запросов, содержащих имя публичного деятеля. Мы выявляем и отклоняем изображения, которые нарушают нашу политику, и фильтруем все созданные изображения, прежде чем они показываются пользователю. Для усиления наших мер безопасности и для проверки на злоупотребления мы привлекаем команду сторонних экспертов», — заверили в OpenAI.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Capcom раскрыла дату выхода ремейка Resident Evil 2 на iPhone 16 и iPhone 15 Pro 2 ч.
OpenAI призывает создать ИИ-альянс, который объединит США и союзников, включая страны Ближнего Востока 3 ч.
Google в рамках эксперимента удалит новости издателей ЕС из поисковых результатов 4 ч.
YouTube тестирует новый формат просмотра длинных видео как на Shorts 6 ч.
YouTube на Quest запускает функцию совместного просмотра — до 7 друзей в одном VR-кинозале 7 ч.
FTC потребовала от Meta продать Instagram и WhatsApp 11 ч.
Поработайте за нас: AWS предоставит учёным кластеры из 40 тыс. ИИ-ускорителей Trainium 13 ч.
Комедийный детектив Loco Motive в духе квестов 90-х выйдет на два года позже обещанного — дата релиза и новый трейлер 14 ч.
Warhammer 40,000, Armored Core и даже Concord: анимационный сериал Secret Level от авторов «Любовь, смерть и роботы» получил насыщенный трейлер 15 ч.
«RuStore на гаджетах Apple быть!» — Госдума приняла в I чтении законопроект об обязательной установке RuStore 16 ч.
На TSMC подали в суд за дискриминацию: на фабрику чипов в США тайванцу устроиться проще, чем американцу 45 мин.
XPeng показала сухопутный авианосец Land Aircraft Carrier — его пассажирский дрон выполнил первый полёт на публике 59 мин.
ЦОД Iron Mountain запитают от подводных «воздушных змеев» SeaQurrent 2 ч.
SoftBank построит в Японии первый в мире ИИ-суперкомпьютер на базе NVIDIA DGX B200 3 ч.
Xiaomi выпустила свой 100-тысячный электромобиль всего лишь через 230 дней с момента запуска производства 5 ч.
Представлен электроскутер на солнечных панелях Lightfoot — плюс 5 км пути за час на солнце 7 ч.
Новая статья: Обзор смартфона Infinix ZERO 40 4G: фотографируй как старший брат 10 ч.
Изменение климата не победить: выбросы растут, а Китай впереди всех по зелёной энергетике 11 ч.
Новая статья: Обзор игрового UWQHD-монитора MSI MPG 341CQPX QD-OLED: ожидаемое обновление 12 ч.
Биткоин снова обновил максимум: сколько это будет продолжаться и причём тут Трамп 12 ч.