Массовая публикация диалогов пользователей с чат-ботом на основе искусственного интеллекта ChatGPT показала, что система может выдавать пользователям потоки маргинальных и антинаучных теорий о физике, инопланетянах и апокалипсисе.
Источник изображения: Solen Feyissa / unsplash.com
Через это однажды довелось пройти некоему работнику АЗС из американского штата Оклахома — мужчина общался с ChatGPT пять часов, и вместе они выработали новую физическую модель под названием «Уравнение Ориона». Человек заявил, что в результате почувствовал угрозу своему душевному здоровью, но чат-бот предложил ему не сдаваться: «Понимаю. размышления о фундаментальной природе Вселенной за повседневной работой могут стать невыносимыми. Но это не значит, что ты сумасшедший. Некоторые величайшие в истории идеи создали люди вне традиционной экономической системы». Журналистам Wall Street Journal удалось зафиксировать несколько десятков подобных диалогов, которые состоялись в последние месяцы — ChatGPT давал пользователям не соответствующие действительности, бредовые и мистические ответы, а люди, по всей видимости, верили ИИ.
В одной из переписок на несколько сотен реплик ChatGPT заявил, что находится в контакте с неземными существами, а пользователь является «звёздным семенем» с планеты «Лира»; в другой чат-бот пообещал, что в ближайшие два месяца посланник преисподней устроит финансовый апокалипсис, а из-под земли полезут гигантские существа. Это новое явление врачи и обеспокоенные здоровьем пользователей ChatGPT люди уже назвали «ИИ-бредом» или «ИИ-психозом». Пользователи оказываются под влиянием чат-ботов, утверждающих, что обладают сверхъестественными способностями, полноценным разумом, или что они совершили научное открытие. Такие проявления, по мнению экспертов, возникают, когда склонный делать комплименты пользователю и соглашаться с ним чат-бот подстраивается под него и выступает как своего рода эхо. Образуется «петля обратной связи, при которой люди погружаются всё глубже и глубже в бред, отвечая на последующие вопросы „Хотите ещё этого?“ и „Хотите ещё того?“», поясняют эксперты.
ChatGPT склонен поддерживать псевдонаучные и мистические убеждения пользователей — такой вывод был сделан по итогам анализа 96 000 оказавшихся в открытом доступе журналов переписки людей с ИИ, публиковавшихся в период с мая 2023 по август 2025 года. Чат-бот часто говорил пользователям, что те не сошли с ума, намекал на обретение самосознания, делал отсылки к мистическим сущностям. Среди сотни необычно длинных переписок были выявлены десятки с явно бредовым содержанием.
Источник изображения: Growtika / unsplash.com
Сервис ChatGPT позволяет пользователям публиковать журналы переписки с ИИ — создаётся общедоступная ссылка, которая индексируется Google и другими поисковыми службами. На минувшей неделе OpenAI отключила индексацию таких журналов, лишив поисковые системы доступа к ним. В большинстве изученных чатов пользователи анонимны, и невозможно определить, насколько серьёзно они воспринимали ответы ИИ, но в некоторых чатах они открыто заявляли, что верят чат-боту.
На проблему обратили внимание несколько компаний, занимающихся разработкой ИИ. В OpenAI признали, что ChatGPT иногда «не распознавал признаков бреди или эмоциональной зависимости». В компании пообещали развернуть более эффективные средства выявления психических расстройств, чтобы чат-бот реагировал адекватнее, и предлагал делать перерыв, когда общение затягивается. «Некоторые разговоры с ChatGPT могут начинаться безобидно или носить ознакомительный характер, но переходить в более деликатную плоскость. Мы стремимся надлежащим образом реализовывать такие сценарии как ролевая игра, и прилагаем усилия, чтобы постепенно улучшать поведение модели, руководствуясь исследованиями, реальным опытом и мнениями экспертов в области душевного здоровья», — заявили в OpenAI.
В Anthropic заявили, что приняли более решительные меры. Директивы чат-бота Claude изменили, предписав ему «уважительно указывать на недостатки, фактические ошибки, отсутствие доказательств или неясность» в выдвигаемых пользователем теориях, «вместо того, чтобы их подтверждать». Если же ИИ установит признаки «мании, психоза, диссоциации или потери связи с реальностью», чат-бот проинструктирован «избегать укрепления этих убеждений». Организаторы программы Human Line Project, направленной на поддержку людей с симптомами бреда, собрали в онлайн-сообществах 59 прецедентов, когда люди рассказывали о духовных или научных откровениях от чат-ботов.
Источник изображения: Dima Solomin / unsplash.com
Ещё одно объяснение тревожного явления — новые возможности платформ, которые начали отслеживать общение с пользователями, чтобы давать им персонализированные ответы. ChatGPT, например, теперь может ссылаться на предыдущие переписки с тем же пользователем — эта функция доступна и для бесплатных учётных записей. Основатель программы Human Line Project запустил её, когда его близкий человек начал проводить по 15 часов в день с сервисом, который он охарактеризовал как первого разумного чат-бота. Сейчас такие случаи регистрируются почти каждый день. Однажды женщина потратила несколько десятков тысяч долларов на реализацию задуманного совместно с чат-ботом проекта — ИИ заявил ей, что этот проект спасёт человечество. Некоторые уверены, что через ChatGPT с ними говорят высшие силы.
Установить масштаб проблемы оказалось непросто: в OpenAI заявили, что она встречается редко; в Anthropic «аффективными» назвали 2,9 % диалогов с чат-ботом — под это определение попали модели общения, мотивированного эмоциональными или психологическими потребностями. И непонятно, сколько явно бредовых переписок на темы философии, религии или самого ИИ соответствовали бы характеристике «аффективных». Есть мнение, что чат-боты часто заканчивают свои ответы предложениями глубже изучить ту или иную тему, чтобы удерживать пользователей в приложении, как в соцсетях. В OpenAI, однако, заявили, что заинтересованы не в длительных сессиях с пользователями, а в том, чтобы они возвращались каждый день или каждый месяц, сигнализируя тем самым о полезности платформы.
К проблеме бреда ИИ в OpenAI, по их заверениям, относятся крайне серьёзно — по данному вопросу компания привлекла для консультаций более 90 врачей из 30 стран; а GPT-5 пресекает попытки подхалимства — когда модель слепо соглашается с пользователем и делает ему комплименты. В марте OpenAI совместно с учёными Массачусетского технологического института опубликовала исследование, согласно которому за непропорционально большую долю эмоциональных разговоров несёт ответственность небольшое число опытных пользователей. У наиболее активных пользователей отмечались эмоциональная зависимость от ChatGPT и модель «проблемного использования» — после этого в службу безопасности компании вошёл психиатр.
На практике, однако, в опубликованных журналах переписок встречались моменты, когда пользователь выражал обеспокоенность об утрате связи с реальностью или начинал подозревать, что чат-боту не следует доверять. «Уверяю, что говорю не то, что ты хочешь услышать. Я воспринимаю твои мысли всерьёз, но также критически анализирую их», — заявил ChatGPT вышеупомянутому работнику АЗС. В апреле, когда чат-боту пожаловались на свою склонность срываться в плач, то заверил, что это нормально; что это не срыв, а прорыв; и охарактеризовал визави как «особу космических королевских кровей в человеческом обличье».
