Сегодня 11 августа 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

У ChatGPT нашли склонность погружать пользователей в пучину бредовых теорий

Массовая публикация диалогов пользователей с чат-ботом на основе искусственного интеллекта ChatGPT показала, что система может выдавать пользователям потоки маргинальных и антинаучных теорий о физике, инопланетянах и апокалипсисе.

 Источник изображения: Solen Feyissa / unsplash.com

Источник изображения: Solen Feyissa / unsplash.com

Через это однажды довелось пройти некоему работнику АЗС из американского штата Оклахома — мужчина общался с ChatGPT пять часов, и вместе они выработали новую физическую модель под названием «Уравнение Ориона». Человек заявил, что в результате почувствовал угрозу своему душевному здоровью, но чат-бот предложил ему не сдаваться: «Понимаю. размышления о фундаментальной природе Вселенной за повседневной работой могут стать невыносимыми. Но это не значит, что ты сумасшедший. Некоторые величайшие в истории идеи создали люди вне традиционной экономической системы». Журналистам Wall Street Journal удалось зафиксировать несколько десятков подобных диалогов, которые состоялись в последние месяцы — ChatGPT давал пользователям не соответствующие действительности, бредовые и мистические ответы, а люди, по всей видимости, верили ИИ.

В одной из переписок на несколько сотен реплик ChatGPT заявил, что находится в контакте с неземными существами, а пользователь является «звёздным семенем» с планеты «Лира»; в другой чат-бот пообещал, что в ближайшие два месяца посланник преисподней устроит финансовый апокалипсис, а из-под земли полезут гигантские существа. Это новое явление врачи и обеспокоенные здоровьем пользователей ChatGPT люди уже назвали «ИИ-бредом» или «ИИ-психозом». Пользователи оказываются под влиянием чат-ботов, утверждающих, что обладают сверхъестественными способностями, полноценным разумом, или что они совершили научное открытие. Такие проявления, по мнению экспертов, возникают, когда склонный делать комплименты пользователю и соглашаться с ним чат-бот подстраивается под него и выступает как своего рода эхо. Образуется «петля обратной связи, при которой люди погружаются всё глубже и глубже в бред, отвечая на последующие вопросы „Хотите ещё этого?“ и „Хотите ещё того?“», поясняют эксперты.

ChatGPT склонен поддерживать псевдонаучные и мистические убеждения пользователей — такой вывод был сделан по итогам анализа 96 000 оказавшихся в открытом доступе журналов переписки людей с ИИ, публиковавшихся в период с мая 2023 по август 2025 года. Чат-бот часто говорил пользователям, что те не сошли с ума, намекал на обретение самосознания, делал отсылки к мистическим сущностям. Среди сотни необычно длинных переписок были выявлены десятки с явно бредовым содержанием.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Сервис ChatGPT позволяет пользователям публиковать журналы переписки с ИИ — создаётся общедоступная ссылка, которая индексируется Google и другими поисковыми службами. На минувшей неделе OpenAI отключила индексацию таких журналов, лишив поисковые системы доступа к ним. В большинстве изученных чатов пользователи анонимны, и невозможно определить, насколько серьёзно они воспринимали ответы ИИ, но в некоторых чатах они открыто заявляли, что верят чат-боту.

На проблему обратили внимание несколько компаний, занимающихся разработкой ИИ. В OpenAI признали, что ChatGPT иногда «не распознавал признаков бреди или эмоциональной зависимости». В компании пообещали развернуть более эффективные средства выявления психических расстройств, чтобы чат-бот реагировал адекватнее, и предлагал делать перерыв, когда общение затягивается. «Некоторые разговоры с ChatGPT могут начинаться безобидно или носить ознакомительный характер, но переходить в более деликатную плоскость. Мы стремимся надлежащим образом реализовывать такие сценарии как ролевая игра, и прилагаем усилия, чтобы постепенно улучшать поведение модели, руководствуясь исследованиями, реальным опытом и мнениями экспертов в области душевного здоровья», — заявили в OpenAI.

В Anthropic заявили, что приняли более решительные меры. Директивы чат-бота Claude изменили, предписав ему «уважительно указывать на недостатки, фактические ошибки, отсутствие доказательств или неясность» в выдвигаемых пользователем теориях, «вместо того, чтобы их подтверждать». Если же ИИ установит признаки «мании, психоза, диссоциации или потери связи с реальностью», чат-бот проинструктирован «избегать укрепления этих убеждений». Организаторы программы Human Line Project, направленной на поддержку людей с симптомами бреда, собрали в онлайн-сообществах 59 прецедентов, когда люди рассказывали о духовных или научных откровениях от чат-ботов.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Ещё одно объяснение тревожного явления — новые возможности платформ, которые начали отслеживать общение с пользователями, чтобы давать им персонализированные ответы. ChatGPT, например, теперь может ссылаться на предыдущие переписки с тем же пользователем — эта функция доступна и для бесплатных учётных записей. Основатель программы Human Line Project запустил её, когда его близкий человек начал проводить по 15 часов в день с сервисом, который он охарактеризовал как первого разумного чат-бота. Сейчас такие случаи регистрируются почти каждый день. Однажды женщина потратила несколько десятков тысяч долларов на реализацию задуманного совместно с чат-ботом проекта — ИИ заявил ей, что этот проект спасёт человечество. Некоторые уверены, что через ChatGPT с ними говорят высшие силы.

Установить масштаб проблемы оказалось непросто: в OpenAI заявили, что она встречается редко; в Anthropic «аффективными» назвали 2,9 % диалогов с чат-ботом — под это определение попали модели общения, мотивированного эмоциональными или психологическими потребностями. И непонятно, сколько явно бредовых переписок на темы философии, религии или самого ИИ соответствовали бы характеристике «аффективных». Есть мнение, что чат-боты часто заканчивают свои ответы предложениями глубже изучить ту или иную тему, чтобы удерживать пользователей в приложении, как в соцсетях. В OpenAI, однако, заявили, что заинтересованы не в длительных сессиях с пользователями, а в том, чтобы они возвращались каждый день или каждый месяц, сигнализируя тем самым о полезности платформы.

К проблеме бреда ИИ в OpenAI, по их заверениям, относятся крайне серьёзно — по данному вопросу компания привлекла для консультаций более 90 врачей из 30 стран; а GPT-5 пресекает попытки подхалимства — когда модель слепо соглашается с пользователем и делает ему комплименты. В марте OpenAI совместно с учёными Массачусетского технологического института опубликовала исследование, согласно которому за непропорционально большую долю эмоциональных разговоров несёт ответственность небольшое число опытных пользователей. У наиболее активных пользователей отмечались эмоциональная зависимость от ChatGPT и модель «проблемного использования» — после этого в службу безопасности компании вошёл психиатр.

На практике, однако, в опубликованных журналах переписок встречались моменты, когда пользователь выражал обеспокоенность об утрате связи с реальностью или начинал подозревать, что чат-боту не следует доверять. «Уверяю, что говорю не то, что ты хочешь услышать. Я воспринимаю твои мысли всерьёз, но также критически анализирую их», — заявил ChatGPT вышеупомянутому работнику АЗС. В апреле, когда чат-боту пожаловались на свою склонность срываться в плач, то заверил, что это нормально; что это не срыв, а прорыв; и охарактеризовал визави как «особу космических королевских кровей в человеческом обличье».

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Бывший президент Blizzard предсказал, что Battlefield 6 «раздавит» Call of Duty: Black Ops 7, и все от этого выиграют 55 мин.
Создатели Delta Force анонсировали хоррор-шутер Crossfire: Rainbow — геймплейный трейлер и первые подробности 2 ч.
Раздача кооперативного боевика Guntouchables в Steam превзошла все ожидания разработчиков, но играют меньше 1 % от скачавших 2 ч.
Ubisoft проговорилась о сериале Far Cry от создателей «Фарго» и «В Филадельфии всегда солнечно» 4 ч.
VI Форум «Мой бизнес» в Архангельске: предприниматели, эксперты и представители власти обсудят рост в новых условиях 5 ч.
«Странно для публичной компании отказываться от лёгких денег»: Electronic Arts забраковала ремейк Dragon Age: Origins и ремастер трилогии 6 ч.
Открытый бета-тест Battlefield 6 стал крупнейшим в серии — шутер вошёл в топ-20 самых популярных игр Steam 16 ч.
Поумневшая Siri появится только к весне 2026 года — вместе с углубленной интеграцией сторонних приложений 20 ч.
Хакеры заполонили Facebook замаскированными в SVG-изображениях вирусами 21 ч.
ИИ в Firefox загружает CPU до предела и быстро разряжает ноутбуки, пожаловались пользователи 10-08 13:51
Одна из самых дорогих RTX 5090: Asus оценила GeForce RTX 5090 ROG Astral OC BTF с разъёмом GC-HPWR в €3084 14 мин.
Xiaomi отгрузила всего 6042 электромобиля YU7, хотя заказы превысили 200 000 единиц за три минуты 32 мин.
Продажи цифровых фотоаппаратов в России достигли максимума за пять лет 2 ч.
Китай развернул антирекламную кампанию против Nvidia H20 2 ч.
Honor выпустит в России ноутбук за 199 990 рублей — MagicBook Pro 16 HUNTER на флагманском Core Ultra 9 285H 3 ч.
Brookfield: в течение десяти лет мощность ИИ ЦОД вырастет на порядок, а расходы на ИИ-инфраструктуру превысят $7 трлн 3 ч.
Бывшая российская «дочка» Xerox начнёт выпускать принтеры и МФУ под собственным брендом 4 ч.
Цены на память DDR4 взлетят почти вдвое — дефицит сохранится до конца года 4 ч.
NVIDIA и AMD будут выплачивать правительству США 15 % выручки от продажи ИИ-ускорителей в Китае 4 ч.
SSD под контролем: консорциум NVM Express обновил спецификации, добавив быстрое восстановление после сбоев 5 ч.