Сегодня 06 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В США создали систему оценки рисков для ИИ-алгоритмов

Национальный институт стандартов и технологий (NIST), входящий в состав Министерства торговли США и занимающийся разработкой и тестированием технологий для американского правительства, компаний и общественности, представил обновлённый тестовый стенд Dioptra. Он предназначен для оценки того, как вредоносные атаки, включая те, что направлены на «отравление» используемых для обучения больших языковых моделей данных влияют на снижение производительности ИИ-систем.

 Источник изображения: Copilot

Источник изображения: Copilot

Первая версия модульного веб-инструмента с открытым исходным кодом Dioptra была представлена в 2022 году. Обновлённое ПО должно помочь разработчикам ИИ-моделей и людям, которые используют эти алгоритмы, оценивать, анализировать и отслеживать риски, связанные с ИИ. В NIST заявили, что Dioptra можно использовать для бенчмаркинга и исследования ИИ-моделей, а также в качестве общей платформы для симуляции воздействия на модели разного рода угроз.

«Тестирование влияния атак противника на модели машинного обучения — одна из целей Dioptra. Программное обеспечение с открытым исходным кодом доступно для бесплатной загрузки и может помочь сообществу, включая правительственные агентства, малые и средние компании, в проведении оценки, чтобы проверить заявления разработчиков ИИ о производительности их систем», — говорится в пресс-релизе NIST.

Вместе с Dioptra разработчики опубликовали ряд документов, в которых излагаются способы уменьшения рисков, связанных с ИИ-моделями. Это программное обеспечение было создано в рамках инициативы, которую поддержал президент США Джо Байден и которая предписывает NIST, помимо прочего, оказывать поддержку в тестировании ИИ-систем. Инициатива также устанавливает ряд стандартов безопасности в сфере ИИ, включая требования к компаниям, разрабатывающим ИИ-алгоритмы, об уведомлении федерального правительства и передачи данных по итогам оценки рисков безопасности до того, как ИИ станет доступен широкому кругу пользователей.

Проведение эталонной оценки ИИ является сложной задачей, в том числе потому, что сложные алгоритмы в настоящее время представляют собой «чёрные ящики», инфраструктура которых, данные для обучения и другие ключевые детали держатся разработчиками в секрете. Некоторые эксперты склоняются к мнению, что одних только оценок недостаточно для определения степени безопасности ИИ в реальном мире, в том числе потому, что разработчики имеют возможность выбирать, какие тесты будут проводиться для оценки их ИИ-моделей.

NIST не говорит, что Dioptra сможет исключить любые риски для ИИ-систем. Однако разработчики этого инструмента уверены, что он может пролить свет на то, какие виды атак могут сделать работу той или иной ИИ-системы менее эффективной, а также оценить негативное воздействие на производительность алгоритма. Отметим, что Dioptra способен работать только с моделями, которые можно загрузить на устройство и использовать локально.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Warner Bros. свяжет Hogwarts Legacy 2 с сериалом «Гарри Поттер» от HBO, а продажи первой части достигли новой вершины 39 мин.
Два героя, возвращение Umbrella и человек-козёл: блогер раскрыл возможные подробности Resident Evil 9 2 ч.
Metal Slug Tactics наконец вышла — демократичная цена в российском Steam и первые оценки 4 ч.
Подарок к юбилею: спустя пять лет после запуска Call of Duty: Mobile достигла миллиарда загрузок 5 ч.
Симулятор жизни в беззаботном постапокалипсисе I Am Future готов вырваться из раннего доступа — новый трейлер и дата выхода 6 ч.
В «Google Сообщениях» можно будет выбирать качество отправляемых изображений 6 ч.
Арестован хакер, подозреваемый во взломе Ticketmaster и десятков других клиентов Snowflake 6 ч.
Вышла вторая бета iOS 18.2 — Siri с ChatGPT Plus, улучшенный «Локатор» и другие изменения 6 ч.
«Яндекс», подвинься: VK начнёт предустанавливать свои сервисы на автомобили в России 6 ч.
Система управления уязвимостями Security Vision Vulnerability Management получила крупное обновление 7 ч.
Ryzen 7 9800X3D показал значительную прибавку минимального FPS в играх по сравнению с Ryzen 7 9700X 20 мин.
Новая статья: Обзор ноутбука ASUS ProArt P16 (H7606WI) с процессором Ryzen AI 33 мин.
Учёные MIT разработали нанотранзисторы для мощной и экономичной электроники будущего 2 ч.
Intel отложила создание фабрик чипов в Германии на 5 лет — власти теперь не знают, что делать с субсидиями 2 ч.
SK Telecom построит гигаваттные ИИ ЦОД в Южной Корее и за её пределами 3 ч.
Vivo анонсировала выпуск в России смартфона iQoo Z9 со Snapdragon 7 Gen 3 и 144-Гц экраном 4 ч.
Спутники SpaceX Starlink обеспечили сотовой связью более 27 000 человек в районах США, пострадавших от ураганов 4 ч.
Toyota подняла аэротакси Joby Aviation в небо Японии 5 ч.
Corsair выпустила MP700 Elite — доступные SSD с PCIe 5.0 объёмом до 2 Тбайт со скоростью до 10 000 Мбайт/с 6 ч.
Klevv представила комплекты модулей памяти Urbane V RGB DDR5 — до 64 Гбайт и 8400 МТ/с 7 ч.