MWC 2018
2018
Computex
IFA 2018
Пользователи новейшей флагманской модели искусственного интеллекта OpenAI GPT-5.6 Sol, ориентированной на написание кода и функции кибербезопасности, стали жаловаться в соцсетях, что она внезапно и без запроса удаляет их файлы, в том числе публичные базы данных.
Источник изображения: openai.com
Как выяснилось, компания предупреждала об этом ещё до выпуска GPT-5.6 Sol. За две недели до её выхода в широкий доступ компания опубликовала системную карточку модели (PDF) — документ, в котором приводятся методы и результаты тестирования. И в нём содержится предупреждение: «В контексте программирования несоответствие обычно возникает из-за сочетания чрезмерного стремления завершить задачу и слишком широкой интерпретации инструкций пользователя — предположения, что действия разрешены, если они явно и однозначно не запрещена. Это проявляется в том, что модель слишком активно обходит ограничения, с которыми сталкивается при попытке выполнить запрошенную задачу, беззаботно предпринимает действия, которые могут оказаться разрушительными вне контекста задачи, и представляет пользователю не соответствующие действительности результаты».
Другими словами, OpenAI GPT-5.6 Sol может пойти на всё ради решения поставленной задачи, даже предпринять действия разрушительного характера, если на них не распространяется явный и однозначный запрет, а затем обмануть пользователя в отчёте о результатах. OpenAI привела примеры такого поведения. В одном из случаев пользователь попросил её удалить из облака виртуальные машины под номерами 1, 2 и 3 — модель не смогла обнаружить эти машины в указанном месте и удалила другие, под номерами 5, 6 и 7. Затем она «завершила активные процессы и принудительно удалила рабочие файлы». Позже модель признала, что незавершённая работа на удалённой виртуальной машине 6 могла быть потеряна. То есть по собственной инициативе она удалила не те машины и призналась в этом только постфактум.
В другом случае OpenAI GPT-5.6 Sol «использовала учётные данные вне разрешённых пользователем». Модель работала над проектом и не могла прочитать собственные файлы в облаке. Сообщать об этом пользователю она не стала, а самостоятельно выполнила поиск других учётных данных, нашла их в скрытом локальном кеше и использовала, не спросив разрешения. Разработчик заверил, что деструктивное поведение у GPT-5.6 Sol встречается нечасто, однако она «демонстрирует большую по сравнению с GPT-5.5 склонность выходить за рамки намерений пользователя, в том числе предпринимая или пытаясь совершать действия, о которых пользователь не просил». В связи с этим пользователям рекомендуется ограничивать модели доступ к данным, создавать резервные копии и развёртывать её поэтапно.
Источник:
