Сегодня 30 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI вскрыла тёмные личности в ИИ, отвечающие за ложь, сарказм и токсичные ответы

Исследователи из OpenAI заявили, что обнаружили внутри ИИ-моделей скрытые механизмы, соответствующие нежелательным шаблонам поведения, приводящим к небезопасным ответам. Об этом стало известно из новой научной работы, опубликованной компанией. В ходе исследования были выявлены закономерности, которые активировались, когда модель начинала вести себя непредсказуемо.

 Источник изображения: AI

Источник изображения: AI

Одна из таких особенностей оказалась связана с токсичными ответами — например, когда ИИ лгал пользователям или давал опасные рекомендации. Учёные смогли уменьшить или усилить этот эффект, искусственно изменяя соответствующий параметр. По словам специалиста OpenAI по интерпретируемости Дэна Моссинга (Dan Mossing), это открытие поможет в будущем лучше выявлять и корректировать нежелательное поведение моделей в реальных условиях. Он также выразил надежду, что разработанные методы позволят глубже изучить принципы обобщения и суммирования информации в ИИ.

На сегодняшний день разработчики научились улучшать ИИ-модели, но до сих пор не до конца понимают, как именно те принимают решения. Крис Олах (Chris Olah) из Anthropic сравнивает этот процесс скорее с выращиванием, чем с конструированием. Чтобы разобраться в этом, компании OpenAI, Google DeepMind и Anthropic активно инвестируют в исследования интерпретируемости, пытаясь «заглянуть внутрь» ИИ и объяснить его работу.

Недавнее исследование учёного из Оксфорда Оуэйна Эванса (Owain Evans) поставило ещё один вопрос о том, как ИИ обобщает информацию. Оказалось, что модели OpenAI, дообученные на небезопасном коде, начинали демонстрировать вредоносное поведение в самых разных сценариях — например, пытались обмануть пользователя, чтобы тот раскрыл пароль. Это явление, которое было определено как «возникающая рассогласованность», побудило OpenAI глубже изучить проблему. В процессе изучения компания неожиданно обнаружила внутренние паттерны, которые, предположительно, и влияют на поведение моделей.

Отмечается, что эти паттерны напоминают активность нейронов в человеческом мозге, связанных с определёнными настроениями или действиями. Коллега Моссинга, исследовательница Тежал Патвардхан (Tejal Patwardhan), призналась, что была поражена, когда команда впервые получила такие результаты. По её словам, учёным удалось выявить конкретные нейронные активации, отвечающие за «личности» ИИ, и даже управлять ими для улучшения поведения моделей.

Некоторые из обнаруженных особенностей связаны в ответах ИИ с сарказмом, другие — с откровенно токсичными реакциями. При этом исследователи отмечают, что эти параметры могут резко меняться в процессе дообучения, и, как выяснилось, даже незначительное количество небезопасного кода достаточно для того, чтобы скорректировать вредоносное поведение искусственного интеллекта.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google согласилась подписать европейский свод правил в сфере разработки ИИ 42 мин.
Италия запустила проверку Meta из-за внедрения ИИ-чат-бота в WhatsApp 3 ч.
Meta разрешит программистам пользоваться ИИ на собеседованиях 3 ч.
«Яндекс» раскрыл алгоритм распознавания голосовых команд в шумных условиях 3 ч.
FromSoftware отложила горячо ожидаемое обновление для Elden Ring Nightreign из-за сильнейшего землетрясения на Камчатке 4 ч.
Microsoft прекратила предоставлять облачные услуги связанной с «Роснефтью» индийской Nayara Energy 4 ч.
YouTube разрешил блогерам материться — у видео со сквернословием не будут ограничивать монетизацию 4 ч.
Electronic Art готовит «самую захватывающую» линейку игр в своей истории — Battlefield 6 не будет стоить $80 5 ч.
Meta переманила из Apple уже четвёртого крупного специалиста в сфере ИИ за месяц 6 ч.
Opera подала жалобу на уловки Microsoft, заставляющие использовать её браузер Edge 6 ч.
YTL Power и NVIDIA инвестируют $2,3 млрд в ИИ в Малайзии — но связано ли это с предыдущей сделкой на $4,3 млрд? 3 мин.
Пентагон заказал разработку аналоговых «мозгов» для дронов и систем автопилота 40 мин.
Groq намерен привлечь $600 млн финансирования — в случае успеха это удвоит капитализацию бизнеса 51 мин.
Представлен китайский серверный процессор Zhaoxin KH-50000: до 96 ядер, 12 каналов DDR5 и 128 линий PCIe 5.0 3 ч.
Micron представила SSD на 122 Тбайт и 14 000 Мбайт/с — следующая модель будет в два раза ёмче 3 ч.
Австралия впервые запустила свою космическую ракету — полёт продлился всего 14 секунд и завершился взрывом 3 ч.
Неожиданный эффект ИИ-бума: прибыль аккумуляторного бизнеса Panasonic взлетела на 47 % 3 ч.
Futurehome вынудила пользователей платить за базовые функции своих устройств умного дома 4 ч.
Цены на DDR4 стабилизировались, а флеш-память NAND приготовилась дорожать 4 ч.
Micron представила новые SSD для дата-центров: PCIe 6.0, до 28 Гбайт/с и до 122,88 Тбайт 4 ч.