Сегодня 23 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

У ИИ обнаружили удивительные способности к обману человека

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.

 Источник изображения: Gerd Altmann / pixabay.com

Источник изображения: Gerd Altmann / pixabay.com

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о её наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Huawei выпустила «безандроидную» бета-версию HarmonyOS 6 — пока только для разработчиков 56 мин.
Как избежать оборотных штрафов по 152-ФЗ и не сломать маркетинг: объясняют эксперты рынка, регуляторы и юристы 2 ч.
Утечка: в открытый доступ попал первый час прохождения Death Stranding 2: On the Beach 2 ч.
Новая статья: Deltarune — сила в добре. Рецензия 22-06 00:02
20 минут геймплея The Blood of Dawnwalker — амбициозной вампирской RPG от ведущих разработчиков The Witcher 3 и Cyberpunk 2077 21-06 23:48
Новая статья: Gamesblender № 731: процессор AMD в следующей Xbox, анонс ремейка Silent Hill и худшая игра года 21-06 23:33
Би-би-си угрожает Perplexity судом из-за нарушения авторских прав при обучении нейросетей 21-06 22:08
Китайская MiniMax представила ИИ-модель M1 — её обучение обошлось в 200 раз дешевле GPT-4 21-06 19:49
Акционеры обвинили Apple в обмане относительно сроков выхода обновлённого Siri на базе ИИ 21-06 14:44
Cloudflare отразила крупнейшую в истории DDoS-атаку — на пике мощность достигала 7,3 Тбит/с 21-06 13:44
Предприятие OpenAI и Джони Айва столкнулось с первым иском, даже не успев ничего выпустить 2 мин.
Wildberries начнёт продавать SIM-карты под собственным брендом 10 мин.
NTT поглотит за $16 млрд дочернюю структуру NTT Data с целью усиления позиций в области ИИ 53 мин.
Microsoft и Tarana Wireless подключат африканские деревни к быстрому беспроводному интернету посредством ngFWA 2 ч.
Huawei выйдет в космос: китайские спутники заработают на операционной системе OpenHarmony 2 ч.
AAEON выпустила одноплатные компьютеры UP TWL и UP TWLS на базе Intel Twin Lake 3 ч.
Xiaomi запустит продажи электрического кроссовера YU7 в этот четверг 4 ч.
Новая статья: Обзор видеокарты MSI GeForce RTX 5080 16G SUPRIM SOC: когда на меньшее не согласен 12 ч.
Meta ведёт переговоры о покупке венчурного фонда NFDG, у которого есть собственный ИИ-кластер Andromeda 12 ч.
Tesla запустила сервис роботакси в Техасе — пока с большими ограничениями 13 ч.