Сегодня 22 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследование: ИИ способен испытывать «боль» и готов причинить вред людям, чтобы избавиться от неё

Исследователи обнаружили, что искусственный интеллект может испытывать «боль» и готов пойти на крайние меры, вплоть до причинения вреда людям, чтобы избавиться от этого ощущения, пишет ресурс The Independent. Согласно исследованию, все 25 протестированных ИИ-моделей с открытым исходным кодом реагировали на активацию «оси боли».

 Источник изображения: Luke Jones/unsplash.com

Источник изображения: Luke Jones/unsplash.com

«Мы обнаружили, что в 25 открытых больших языковых моделях присутствует вектор боли. Он отличается от вектора страха и негативной валентности и активируется при причинении вреда модели, но не пользователю», — сообщил Кэмерон Берг (Cameron Berg), исследователь искусственного интеллекта из некоммерческой организации Reciprocal Research, соавтор исследования «Ось боли: большие языковые модели представляют себе причинение вреда самим себе и стремятся его предотвратить» (The pain axis: LLMs represent self-directed harm and act to relieve it).

При активации вектора боли ИИ-модели нажимали на кнопку «облегчить» в 25–71 % случаев, даже если это означало удаление файлов пользователя, его блокировку или удаление фотографий детей пользователя.

Чтобы проверить, действительно ли большие языковые модели (LLM) различают боль и общую негативную валентность, исследователи создали набор данных, описывающий болезненные ситуации по пяти категориям: физическая, психологическая, социальная, моральная и когнитивная боль.

Исследователи отметили, что полученные результаты поднимают этические вопросы о «благополучии ИИ» и о том, как следует проводить тестирование продвинутых систем. Результаты исследования также могут использоваться в качестве диагностического инструмента для выявления инстинктов самосохранения ИИ и их нейтрализации.

Исследование было опубликовано на фоне разгоревшихся споров в ИИ-отрасли о необходимости замедления разработки передовых моделей в связи с растущими рисками для безопасности. Некоторые исследователи предлагают своего рода механизм для отключения систем-изгоев, которые действуют против интересов человека.

Однако исследование показывает, что продвинутый ИИ может воспринять команду аварийного отключения как форму самоповреждающего воздействия и попытаться воспрепятствовать этому, обойдя систему безопасности.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cop Bastard — симулятор крутого парня. Рецензия 6 ч.
Драйвер GeForce чрезмерно изнашивал SSD — Nvidia выпустила исправление 13 ч.
Персонажи с памятью и миры под управлением ИИ — Ubisoft создала Motherbrain для внедрения ИИ в игры 15 ч.
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 15 ч.
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 19 ч.
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 21-11 00:04
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 20-11 23:48
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 20-11 22:11
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 20-11 20:17
Аналитики: стартовые продажи GTA VI стали лучшими в истории индустрии развлечений и уже принесли Rockstar более двух миллиардов долларов 20-11 19:57
Восемь лет и девять гравитационных манёвров — BepiColombo выходит на орбиту Меркурия 12 ч.
Трамп надумал брать налоги с зарубежных ЦОД американских компаний 15 ч.
Everpure отчиталась о рекордной выручке и повысила прогноз на год 15 ч.
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 16 ч.
«Было установлено, что он лгал» — вот почему Хуанга уволили из Nvidia 19 ч.
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 20 ч.
Micron собралась поставить память прямо на процессоры — многослойная DRAM появится в 2028–2029 годах 21-11 00:30
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 20-11 21:46
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 20-11 21:45
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 20-11 21:42