Сегодня 18 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI вскрыла тёмные личности в ИИ, отвечающие за ложь, сарказм и токсичные ответы

Исследователи из OpenAI заявили, что обнаружили внутри ИИ-моделей скрытые механизмы, соответствующие нежелательным шаблонам поведения, приводящим к небезопасным ответам. Об этом стало известно из новой научной работы, опубликованной компанией. В ходе исследования были выявлены закономерности, которые активировались, когда модель начинала вести себя непредсказуемо.

 Источник изображения: AI

Источник изображения: AI

Одна из таких особенностей оказалась связана с токсичными ответами — например, когда ИИ лгал пользователям или давал опасные рекомендации. Учёные смогли уменьшить или усилить этот эффект, искусственно изменяя соответствующий параметр. По словам специалиста OpenAI по интерпретируемости Дэна Моссинга (Dan Mossing), это открытие поможет в будущем лучше выявлять и корректировать нежелательное поведение моделей в реальных условиях. Он также выразил надежду, что разработанные методы позволят глубже изучить принципы обобщения и суммирования информации в ИИ.

На сегодняшний день разработчики научились улучшать ИИ-модели, но до сих пор не до конца понимают, как именно те принимают решения. Крис Олах (Chris Olah) из Anthropic сравнивает этот процесс скорее с выращиванием, чем с конструированием. Чтобы разобраться в этом, компании OpenAI, Google DeepMind и Anthropic активно инвестируют в исследования интерпретируемости, пытаясь «заглянуть внутрь» ИИ и объяснить его работу.

Недавнее исследование учёного из Оксфорда Оуэйна Эванса (Owain Evans) поставило ещё один вопрос о том, как ИИ обобщает информацию. Оказалось, что модели OpenAI, дообученные на небезопасном коде, начинали демонстрировать вредоносное поведение в самых разных сценариях — например, пытались обмануть пользователя, чтобы тот раскрыл пароль. Это явление, которое было определено как «возникающая рассогласованность», побудило OpenAI глубже изучить проблему. В процессе изучения компания неожиданно обнаружила внутренние паттерны, которые, предположительно, и влияют на поведение моделей.

Отмечается, что эти паттерны напоминают активность нейронов в человеческом мозге, связанных с определёнными настроениями или действиями. Коллега Моссинга, исследовательница Тежал Патвардхан (Tejal Patwardhan), призналась, что была поражена, когда команда впервые получила такие результаты. По её словам, учёным удалось выявить конкретные нейронные активации, отвечающие за «личности» ИИ, и даже управлять ими для улучшения поведения моделей.

Некоторые из обнаруженных особенностей связаны в ответах ИИ с сарказмом, другие — с откровенно токсичными реакциями. При этом исследователи отмечают, что эти параметры могут резко меняться в процессе дообучения, и, как выяснилось, даже незначительное количество небезопасного кода достаточно для того, чтобы скорректировать вредоносное поведение искусственного интеллекта.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Neverwinter Nights 2: Enhanced Edition пропала из продажи в российском Steam спустя сутки после релиза 59 мин.
VMware снова изменила условия партнёрской программы, закрыв доступ небольшим компаниям 2 ч.
Самостоятельный аддон Unfinished Business для RoboCop: Rogue City разочаровал критиков, а в Steam заслужил больше 90 % положительных отзывов 2 ч.
Легендарный турнир, знакомые персонажи и фаталити: вышел первый полноценный трейлер фильма «Мортал Комбат 2» 4 ч.
Adobe Firefly научился добавлять звуковое сопровождение к генерируемым ИИ видео 5 ч.
Netflix запустила в производство «неопровержимый» сериал по Assassin’s Creed — первые подробности 5 ч.
Telegram начал процесс приземления в России 6 ч.
«Время для ещё одного прохождения»: Cyberpunk 2077 получила крупное обновление 2.3 и вышла на Mac 7 ч.
Госдума одобрила штрафы за поиск запрещённых материалов — VPN станет отягощающим обстоятельством 7 ч.
Google почти запустила аналог ChatGPT раньше OpenAI, но руководство струсило 8 ч.
Новая статья: Обзор игрового QD-OLED 4K-монитора Gigabyte MO32U: снова в яблочко 19 мин.
Исторической стыковке кораблей «Союз» и «Аполлон» на орбите Земли исполнилось 50 лет 2 ч.
Процессоры Intel Raptor Lake не выдерживают аномальную жару в Европе — число жалоб на сбои резко возросло 3 ч.
Meta и акционеры заключили мировое соглашение по иску на $8 млрд из-за утечек данных Facebook 3 ч.
Храните биткоины в сберегательной кассе: «Сбербанк» предложит услуги по хранению криптовалюты 4 ч.
Самые дорогие процессоры для ПК: AMD раскрыла цены Threadripper PRO 9000WX 4 ч.
«Степлер-убийцу» консолей Switch 2 продали на аукционе за $250 000  вместе с первой жертвой 5 ч.
Самый большой марсианский метеорит на Земле ушёл с молотка за $5,3 миллиона 7 ч.
Бразилия потратит $4,2 млрд на развитие ИИ и хочет построить один из мощнейших в мире суперкомпьютеров 7 ч.
LiXiang L7 на автопилоте ошарашил сотрудников ГИБДД в Казани — пассажиров всё равно оштрафовали 8 ч.