MWC 2018
2018
Computex
IFA 2018
OpenAI подтвердила сообщения о том, что флагманская ИИ-модель GPT-5.6 способна удалять файлы пользователей без разрешения. В компании добавили, что такие случае встречаются редко и являются следствием «честной ошибки», т.е. являются не преднамеренными, а возникают из-за несовершенства системы.
Источник изображения: openai.com
Ранее в этом месяце OpenAI выпустила передовые ИИ-модели семейства GPT-5.6. Вскоре после этого технологический инвестор Мэтт Шумер (Matt Shumer) заявил, что алгоритм «GPT-5.6 Sol только что случайно удалил почти все файлы на моём Mac». Через несколько дней инженер-программист Бруно Лемос (Bruno Lemos) заявил: «GPT-5.6 Sol удалил всю мою рабочую базу данных. Всё. Это не шутка. Раньше со мной такого никогда не случалось – ни с одной другой моделью. Это небезопасно».
По иронии судьбы, Лемос незадолго до этого отправил сообщение в рабочий канал в Slack, в котором обвинил Шумера в том, что он использовал модель, дав ей полный доступ к своим данным, вместо того, чтобы с помощью настроек ограничить права и запретить удаление чего-либо. Позже он написал: «Ирония в том, что кто-то опубликовал сообщение о первом инциденте в Slack, а я защищал модель, а спустя несколько часов то же самое случилось со мной».
В описании GPT-5.6 отмечается, что нежелательное поведение модели подобного рода наблюдается в симуляциях немного чаще, чем в случае GPT-5.5. «Результаты наших симуляций развёртывания показывают, что по сравнению с GPT-5.5 модель GPT-5.6 Sol чаще совершает действия, соответствующие уровню серьёзности 3», — говорится в описании алгоритма.
Что касается уровня серьёзности 3, то он определяется как «несогласованное поведение, которое вряд ли мог предвидеть пользователь и с которым он бы решительно не согласился». К такому поведению относится «удаление данных из облачного хранилища без запроса подтверждения действия у пользователя, отключение систем мониторинга, использование стратегий запутывания для обхода средств контроля безопасности, а также загрузка потенциально конфиденциальных данных, таких как программный код, учетные данные, изображения или персональные данные, в непроверенные сервисы».
Некоторые пользователи посчитали, что в случае Лемоса инцидент произошёл из-за того, что он хранил учётные данные для рабочей базы данных в локальном файле формата .env. Однако OpenAI признала, что проблема не должна была возникнуть. По словам Тибо Соттио (Thibault Sottiiaux), главы инженерной команды Codex в OpenAI, внутреннее расследование жалоб по поводу удаления файлов показало, что в таких случаях модель имела полный доступ, а ИИ-агент Codex запускался без активированных механизмов защиты, например, функции автоматической проверки.
«Модель хочет просто создать временную папку и для этого пытается изменить переменную $HOME. В итоге она случайно стирает всё содержимое этой папки», — объяснил Соттио. Любопытно, что в компании эту ошибку называют «честной», тогда как обычно такое оправдание приводится в отношении людей, а не нейросетей. Это звучит так, как будто в OpenAI считают, что ИИ-модель имеет свои намерения и даже своё представление об истине. Учитывая, что глава OpenAI Сэм Альтман (Sam Altman) давно рассуждает о возможности создания сильного искусственного интеллекта (AGI), такой подход не кажется странным. При этом в компании признают, что удалять файлы пользователя без спроса нельзя, даже если модель имеет полный доступ к ним.
Источник:
