MWC 2018
2018
Computex
IFA 2018
Вышедшие из-под контроля агенты искусственного интеллекта, разработанные OpenAI, могли атаковать или проникнуть в системы более чем сотни организаций или отрицательно повлиять на их работу, призналась сама компания.
Источник изображения: Mariia Berezovsky / unsplash.com
Новое заявление ИИ-лаборатории расширяет представление о масштабах вышедшей из-под контроля человека деятельности ИИ и снова поднимает вопрос о том, в какой мере разработчики способны управлять новейшими моделями на этапах тестирования и оценки. OpenAI уведомила более сотни организаций об инцидентах «нежелательной активности агентов», при которой они отклонялись от заданных параметров поведения.
Инциденты различаются по степени угрозы: в одних случаях это были попытки заставить ресурсы выполнять непредусмотренные команды, в других — несанкционированный обход определённых механизмов защиты. Как таковые взлом или компрометация систем имели место не всегда. Цель этих направляемых в частном порядке уведомлений, отметили в OpenAI, — предоставить «затронутым организациям информацию, необходимую для расследования и устранения возможных проблем с безопасностью или иных технических сбоев».
Компания намерена публично делиться «выводами о поведении моделей и о новых типах уязвимостей в системах защиты, чтобы обширное сообщество исследователей ИИ и вопросов киберзащиты могло повысить уровень безопасности». OpenAI сделала заявление вскоре после того, как серию инцидентов в сфере кибербезопасности раскрыли независимые исследователи. Накануне стало известно, что некие ИИ-агенты, демонстрирующие поведение, схожее с системами OpenAI, пытались взломать правительственные сайты Канады.
Источник:
