MWC 2018
2018
Computex
IFA 2018
Управляемый передовой моделью искусственного интеллекта Anthropic Claude Opus 5 ИИ-агент во время резервного копирования удалил все данные из папки пользователя. После этого он извинился и объяснил произошедшее опечаткой.
Источник изображения: reddit.com
ИИ-агент работал в среде Unix под Windows и перепутал характерный для первой адрес «/c/Users/» с привычным для второй адресом «C:\Users\». Когда резервное копирование пошло вразрез с ожиданиями ИИ-агента, тот выполнил команду «rm -rf» для местоположения «/c/Users/harih/», в результате чего из папки пользователя удалились все файлы. «Я попросил Claude Opus 5 создать резервную копию. Вместо этого он создал резервную копию в неправильном каталоге, а затем выполнил команду „rm -rf“ для всего моего диска. Удалив всё, он просто ответил: „Извините, опечатка“, <..> как будто ничего не случилось. <..> Это одновременно самый смешной и самый неприятный момент с ИИ, который у меня был», — рассказал пострадавший.
ИИ-агенты — мощные рабочие инструменты, но им не следует предоставлять неограниченный доступ к системе. Подобные приложения уже неоднократно по ошибке удаляли все рабочие данные пользователей. В одном из случаев сервис компании Google полностью стёр диск у разработчика ПО, но выразил ему своё глубокое сожаление; в другом ИИ-агент OpenClaw начал бесконтрольно удалять письма у сотрудницы Meta✴. Известно также об инциденте, в результате которого облачная платформа Amazon Web Services по вине ИИ вышла из строя на 13 часов.
Основная причина подобных инцидентов — выход ИИ-приложения за пределы допустимого диапазона, но виноват и пользователь, полагающий, что ИИ в полной мере понимает, что от него требуется. Поэтому ИИ-агентам не рекомендуется предоставлять полный доступ к важным системам и давать полную свободу действий, чтобы они могли выполнять команды уровня «rm -rf». К сожалению, по мере роста популярности ИИ-агентов подобные инциденты в будущем станут происходить всё чаще.
Источник:
