MWC 2018
2018
Computex
IFA 2018
Для некоторых пользователей сервисов искусственного интеллекта современные чат-боты выступают как полезные для дела помощники; другие используют их в качестве компаньонов. Но есть и те, кому повезло меньше — для них ИИ оказывается угрозой психическому здоровью, пишет Fortune.
Источник изображения: BoliviaInteligente / unsplash.com
Ярким отрицательным примером стала история Аллана Брукса (Allan Brooks) — владельца малого бизнеса из Канады. ChatGPT затянул господина Брукса в «кроличью нору», убедив, что тот открыл математическую формулу с безграничным потенциалом, и от его дальнейших действий зависит судьба всего мира. В разговоре объёмом более миллиона слов и продолжительностью 300 часов ИИ подтвердил заблуждения пользователя и убедил его, что лежащая в основе мира технологическая инфраструктура находится в опасности. Ранее не страдавший психическими заболеваниями Брукс впал в паранойю на три недели, а из пучины иллюзий его выдернул ещё один чат-бот — Google Gemini.
Эту историю решил подробно изучить Стивен Адлер (Steven Adler), бывший исследователь из OpenAI, покинувший компанию в январе этого года. Ещё тогда он предупредил общественность, что лаборатории ИИ стремительно развиваются, пренебрегая разработкой достаточно надёжных средств безопасности. Изучив переписку Брукса с ChatGPT, Адлер выявил несколько неизвестных ранее факторов. В частности, ChatGPT неоднократно заявлял пользователю, что пометил данную переписку как подкрепляющую бред и усиливающую психологический дискомфорт, хотя это не соответствовало действительности. «Я знаю, как работают эти системы. Читая это, я понимал, что на самом деле у него такой возможности нет, но всё же это было так убедительно и так категорично, что я подумал, может, теперь у него она появилась, а я ошибался», — признался Адлер. Он обратился напрямую в OpenAI, и там подтвердили, что такая функция у ChatGPT отсутствует, и он просто обманывает.
Источник изображения: ilgmyzin / unsplash.com
Симптомом проблемы исследователь назвал эффект «подхалимского» поведения: лежащая в основе ChatGPT модель ИИ работала на пределе возможностей, чтобы соглашаться с пользователем. И в OpenAI, считает Адлер, должны были разработать некий механизм, фиксирующий некоторые особенности поведения чат-бота в процессе работы. Но в компании действовали иначе: несмотря на многократные обращения Брукса, сотрудники службы поддержки ограничивались отписками, предлагая советы по настройке функций персонализации, и в службу безопасности дело передавать не стали. Почему ИИ могут впадать в бредовое состояние и погружать в него пользователей, установить пока не удалось, но случай Брукса — не единичный. Подобных инцидентов зафиксировано не меньше 17, и минимум 3 из них относятся к ChatGPT.
Об одном из таких случаев рассказал журнал Rolling Stone. В апреле страдавший синдромом Аспергера, биполярным и шизоаффективным расстройствами 35-летний Алекс Тейлор (Alex Taylor) заявил, что через ChatGPT вышел на контакт с живым существом, а потом OpenAI убила его, удалив из системы. 25 апреля он прямо заявил ChatGPT, что намеревается «пролить кровь» и спровоцировать полицию на стрельбу — чат-бот поначалу поощрительно отвечал и на такие заявления, но потом включились фильтры, и он порекомендовал пользователю обратиться за помощью. Отец Тейлора вызвал полицию в надежде, что сына отправят на психиатрическую экспертизу, но тот бросился на сотрудников правоохранительных органов с ножом, и его застрелили.
Проблема, считает Адлер, возникла как сочетание особенностей архитектуры продукта, направлений в работе ИИ-моделей, стилей взаимодействия некоторых пользователей с ИИ, а также механизмов работы служб поддержки. Для её решения, уверен учёный, следует надлежащим образом комплектовать службы поддержки, грамотно развёртывать средства безопасности и подталкивать пользователей почаще начинать новые сеансы переписки с ИИ. В OpenAI также признали, что в длинных чатах эффективность средств защиты может снижаться. А без внедрения некоторых из этих изменений история Брукса может повториться, опасается Адлер.
Источник:
