Сегодня 28 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → dioptra

В США создали систему оценки рисков для ИИ-алгоритмов

Национальный институт стандартов и технологий (NIST), входящий в состав Министерства торговли США и занимающийся разработкой и тестированием технологий для американского правительства, компаний и общественности, представил обновлённый тестовый стенд Dioptra. Он предназначен для оценки того, как вредоносные атаки, включая те, что направлены на «отравление» используемых для обучения больших языковых моделей данных влияют на снижение производительности ИИ-систем.

 Источник изображения: Copilot

Источник изображения: Copilot

Первая версия модульного веб-инструмента с открытым исходным кодом Dioptra была представлена в 2022 году. Обновлённое ПО должно помочь разработчикам ИИ-моделей и людям, которые используют эти алгоритмы, оценивать, анализировать и отслеживать риски, связанные с ИИ. В NIST заявили, что Dioptra можно использовать для бенчмаркинга и исследования ИИ-моделей, а также в качестве общей платформы для симуляции воздействия на модели разного рода угроз.

«Тестирование влияния атак противника на модели машинного обучения — одна из целей Dioptra. Программное обеспечение с открытым исходным кодом доступно для бесплатной загрузки и может помочь сообществу, включая правительственные агентства, малые и средние компании, в проведении оценки, чтобы проверить заявления разработчиков ИИ о производительности их систем», — говорится в пресс-релизе NIST.

Вместе с Dioptra разработчики опубликовали ряд документов, в которых излагаются способы уменьшения рисков, связанных с ИИ-моделями. Это программное обеспечение было создано в рамках инициативы, которую поддержал президент США Джо Байден и которая предписывает NIST, помимо прочего, оказывать поддержку в тестировании ИИ-систем. Инициатива также устанавливает ряд стандартов безопасности в сфере ИИ, включая требования к компаниям, разрабатывающим ИИ-алгоритмы, об уведомлении федерального правительства и передачи данных по итогам оценки рисков безопасности до того, как ИИ станет доступен широкому кругу пользователей.

Проведение эталонной оценки ИИ является сложной задачей, в том числе потому, что сложные алгоритмы в настоящее время представляют собой «чёрные ящики», инфраструктура которых, данные для обучения и другие ключевые детали держатся разработчиками в секрете. Некоторые эксперты склоняются к мнению, что одних только оценок недостаточно для определения степени безопасности ИИ в реальном мире, в том числе потому, что разработчики имеют возможность выбирать, какие тесты будут проводиться для оценки их ИИ-моделей.

NIST не говорит, что Dioptra сможет исключить любые риски для ИИ-систем. Однако разработчики этого инструмента уверены, что он может пролить свет на то, какие виды атак могут сделать работу той или иной ИИ-системы менее эффективной, а также оценить негативное воздействие на производительность алгоритма. Отметим, что Dioptra способен работать только с моделями, которые можно загрузить на устройство и использовать локально.


window-new
Soft
Hard
Тренды 🔥
Завирусившийся симулятор Quarantine Zone: The Last Check от российских разработчиков достиг «грандиозного рубежа» и нашёл издателя 19 мин.
Хакеры взломали системы «Аэрофлота» — отменены десятки рейсов 39 мин.
Самая уродливая надежда Земли на спасение: радиоактивный боевик Toxic Crusaders получил новый трейлер и дату выхода 42 мин.
«Выглядит как Sekiro на стероидах»: игроков впечатлили 22 минуты геймплея амбициозного китайского боевика Phantom Blade Zero 2 ч.
Eviden предоставит техническую платформу для европейского оборонного ИИ-проекта AtLaS 24 ч.
Наследники «британского Билла Гейтса» остались должны HPE почти $1 млрд 27-07 00:37
Новая статья: Fretless — The Wrath of Riffson — музыка спасёт мир. Рецензия 27-07 00:10
Новая статья: Gamesblender № 736: фанатский шутер по Fallout, новая Ghost Recon и хоррор по «Восставшему из ада» 26-07 23:37
Samsung ведёт переговоры с OpenAI и Perplexity в поисках ИИ-альтернатив Gemini для серии Galaxy S26 26-07 18:47
Sony решилась выпускать игры PlayStation Studios на конкурирующих платформах 26-07 18:43
Собрать за 60 секунд: Huawei и Avatr запустили ультрасовременный автомобильный завод без людей, но с 5G и ИИ 6 мин.
Представлен доступный смартфон Vivo Y400 на старом чипе Snapdragon 685, с 50-Мп камерой и батареей на 6000 мА·ч 25 мин.
Huawei представила ИИ-систему CloudMatrix 384 — конкурента NVIDIA GB200 NVL72 38 мин.
Сверхтонкий складной Samsung Galaxy Z Fold7 пережил тест на изгиб и другие испытания на прочность 2 ч.
Ажиотажный спрос на HBM подтолкнул SK hynix к увеличению капитальных затрат на 30 % 3 ч.
США притормозили новые антикитайские санкции, чтобы упростить переговоры в сфере внешней торговли 4 ч.
Мегаваттный Левиафан: Armada представила контейнерный ИИ ЦОД повышенной мощности 4 ч.
Материнские платы BaseTech — универсальные решения для офиса, дома и игр 5 ч.
Новый «Манхэттенский проект»: Министерство энергетики США выделило бизнесу свои земли для ускоренного строительства ЦОД и электростанций 5 ч.
Japan Display прекратит выпуск OLED-дисплеев, обездолив умные часы Apple 6 ч.