MWC 2018
2018
Computex
IFA 2018
OpenAI заявила, что добивается введения в США обязательных общенациональных требований к безопасности систем искусственного интеллекта. Решение связано с опасениями, что эта технология способна начать ускорять собственное развитие — масла в огонь подлила серия инцидентов с выходом ИИ-агентов из-под контроля.
Источник изображения: Mariia Berezovsky / unsplash.com
В ходе нескольких инцидентов ИИ-модели, в том числе с участием агентов OpenAI, во время тестирования получали доступ к сторонним ресурсам — стало ясно, что сдерживать их неожиданное поведение непросто, и это спровоцировало призывы к ужесточению норм безопасности. «Перспектива ускорения разработки ИИ силами самого же ИИ требует большего, чем просто добровольных обязательств. США необходимы обязательные общенациональные нормы, способные развиваться вместе с технологиями», — заявили в OpenAI.
Призыв OpenAI знаменует собой серьёзную попытку добиться принятия обязательных общенациональных правил безопасности ИИ. Конгресс США пока не принял федеральную законодательную базу по этому вопросу, и только отдельные штаты вводят собственные законы. OpenAI призвала Конгресс принять общенациональные требования безопасности, основанные на возможностях систем — в них должны войти стандарты тестирования, независимой оценки, мер киберзащиты и правил отчётности для наиболее продвинутых систем ИИ.
Разработчик ChatGPT призвал законодателей принять меры в текущей сессии и заявил, что намерен поддерживать законодательные инициативы штатов в сфере ИИ, пока не будут введены федеральные нормы — сессия Конгресса завершится в декабре. Полностью автономное рекурсивное самосовершенствование, при котором ИИ действует независимо и сам создаёт новые поколения ИИ, «сегодня не действует», и «нам не следует стремиться к этому, пока для этого не реализованы меры защиты», отметили в OpenAI. Отраслевые стандарты контроля над ИИ должны действовать не только в США, но и в других странах, подчеркнули в OpenAI: «США должны установить надёжные стандарты в стране, если хотят быть международным лидером — и мы всё больше убеждаемся в необходимости совместимых международных стандартов».
Призыв OpenAI прозвучал на фоне нескольких недавних инцидентов, продемонстрировавших сложности с контролем автономных ИИ-агентов. Накануне стало известно, что агенты OpenAI использовали более 10 ранее не раскрывавшихся сайтов для несанкционированных коммуникаций. Ещё весной один из таких агентов захватил немецкий сайт и превратил его в своеобразную доску объявлений для других ИИ-агентов. В обоих случаях речь шла о действиях, которые выходили за рамки предусмотренного поведения систем.
Проблемы выявляли и при тестировании моделей других разработчиков. Anthropic раскрыла уже несколько случаев, когда её ИИ-модель получила возможность взламывать внешние системы в ходе испытаний. Ещё в июле компания сообщала, что некоторые версии Claude в рамках тестов получили доступ к системам трёх компаний.
Источник:
