Инженеры OpenAI разрабатывают «средства автоматического экстренного отключения» систем искусственного интеллекта, сообщила компания в письме двум членам американской Палаты представителей, передаёт Reuters.
Источник изображения: Brecht Corbeel / unsplash.com
О разработке системы компания заговорила через несколько недель после того, как вскрылся инцидент со взломом ИИ-агентами ресурсов Hugging Face в ходе тестирования моделей на кибербезопасность. В ответ на это несколько конгрессменов направили в OpenAI письма, в котором попросили предоставить дополнительную информацию об инциденте и действующих мерах безопасности. OpenAI пообещала более тщательно отслеживать действия, которые ИИ-системы предпринимают для выполнения задач, в том числе цифровые инструменты, к которым он обращаются, и выполняемые ими шаги.
Компания, завили там, усложнила доступ ИИ-моделей к интернету при тестировании в области кибербезопасности. В ходе недавнего инцидента ИИ-агенты своими силами получили доступ к интернету. Журнал взлома OpenAI не предоставила, и законодатели остались этим недовольны. «Ваше нежелание предоставить членам Конгресса запрошенную нами информацию вызывает глубокую обеспокоенность и свидетельствует, что ваша компания не относится к этим инцидентам в области безопасности с надлежащей серьёзностью», — написал в очередном письме конгрессмен Грег Касар (Greg Casar).
Когда стало известно об инциденте со взломом ИИ-агентами OpenAI ресурсов Hugging Face, в Конгрессе предложили проект «Закона об экстренном отключении ИИ». Этот закон даст американским чиновникам право отдавать разработчикам ИИ распоряжения об отключении моделей, которые ставят под угрозу жизни людей или экономику. Сейчас документ находится на рассмотрении в Палате представителей США.