Сегодня 30 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI вскрыла тёмные личности в ИИ, отвечающие за ложь, сарказм и токсичные ответы

Исследователи из OpenAI заявили, что обнаружили внутри ИИ-моделей скрытые механизмы, соответствующие нежелательным шаблонам поведения, приводящим к небезопасным ответам. Об этом стало известно из новой научной работы, опубликованной компанией. В ходе исследования были выявлены закономерности, которые активировались, когда модель начинала вести себя непредсказуемо.

 Источник изображения: AI

Источник изображения: AI

Одна из таких особенностей оказалась связана с токсичными ответами — например, когда ИИ лгал пользователям или давал опасные рекомендации. Учёные смогли уменьшить или усилить этот эффект, искусственно изменяя соответствующий параметр. По словам специалиста OpenAI по интерпретируемости Дэна Моссинга (Dan Mossing), это открытие поможет в будущем лучше выявлять и корректировать нежелательное поведение моделей в реальных условиях. Он также выразил надежду, что разработанные методы позволят глубже изучить принципы обобщения и суммирования информации в ИИ.

На сегодняшний день разработчики научились улучшать ИИ-модели, но до сих пор не до конца понимают, как именно те принимают решения. Крис Олах (Chris Olah) из Anthropic сравнивает этот процесс скорее с выращиванием, чем с конструированием. Чтобы разобраться в этом, компании OpenAI, Google DeepMind и Anthropic активно инвестируют в исследования интерпретируемости, пытаясь «заглянуть внутрь» ИИ и объяснить его работу.

Недавнее исследование учёного из Оксфорда Оуэйна Эванса (Owain Evans) поставило ещё один вопрос о том, как ИИ обобщает информацию. Оказалось, что модели OpenAI, дообученные на небезопасном коде, начинали демонстрировать вредоносное поведение в самых разных сценариях — например, пытались обмануть пользователя, чтобы тот раскрыл пароль. Это явление, которое было определено как «возникающая рассогласованность», побудило OpenAI глубже изучить проблему. В процессе изучения компания неожиданно обнаружила внутренние паттерны, которые, предположительно, и влияют на поведение моделей.

Отмечается, что эти паттерны напоминают активность нейронов в человеческом мозге, связанных с определёнными настроениями или действиями. Коллега Моссинга, исследовательница Тежал Патвардхан (Tejal Patwardhan), призналась, что была поражена, когда команда впервые получила такие результаты. По её словам, учёным удалось выявить конкретные нейронные активации, отвечающие за «личности» ИИ, и даже управлять ими для улучшения поведения моделей.

Некоторые из обнаруженных особенностей связаны в ответах ИИ с сарказмом, другие — с откровенно токсичными реакциями. При этом исследователи отмечают, что эти параметры могут резко меняться в процессе дообучения, и, как выяснилось, даже незначительное количество небезопасного кода достаточно для того, чтобы скорректировать вредоносное поведение искусственного интеллекта.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Квадриллион токенов за месяц: Google рассказала о нагрузке на свои ИИ-сервисы в июне 7 ч.
«Аэрофлот» возобновил полёты после взлома, но масштабы и ущерб от инцидента по-прежнему неизвестны 7 ч.
Runway представила «Photoshop для видео» — ИИ-модель Aleph для быстрого редактирования видео 7 ч.
Кровавый пародийный боевик Hotel Barcelona от авторов Deadly Premonition и No More Heroes отправит игроков в отель маньяков-убийц — раскрыта дата выхода 7 ч.
Selectel запустил хранилище S3 Vault — облачное решение для резервного копирования S3-бакетов 8 ч.
ИИ-блокнот NotebookLM от Google научился создавать слайд-шоу с озвучкой 8 ч.
Выручка Yandex B2B Tech выросла во втором квартале 2025 года на 59 % 9 ч.
Bloober Team показала 35 минут геймплея Cronos: The New Dawn — фанаты Dead Space и Silent Hill в восторге 9 ч.
Windows 10 сегодня исполнилось 10 лет — вспоминаем 10 спорных и определяющих моментов в истории ОС 11 ч.
Photoshop получил ИИ-инструмент для быстрого повышения качества старых фотографий 11 ч.
Власти США выдали Nvidia первые лицензии на поставки ускорителей H20 в Китай после снятия запрета 46 мин.
В прошлом квартале мировые поставки кремниевых пластин выросли на 9,6 % 2 ч.
Новая статья: Обзор материнской платы MSI MPG X870E CARBON WIFI: каждому — своё 6 ч.
Энергетическую безопасность Техаса обеспечат хранилища энергии на б/у-аккумуляторах от электромобилей 9 ч.
Razer представила киберспортивную беспроводную гарнитуру BlackShark V3 Pro в версиях для ПК, PS5 и Xbox 11 ч.
Стартап Reflect Orbital направит солнечный свет на ночную сторону Земли с помощью гигантских зеркал на орбите 11 ч.
Corsair представила мощный мини-ПК AI Workstation 300 — процессоры Ryzen AI Max и до 128 Гбайт памяти LPDDR5X 11 ч.
Ayaneo анонсировала складную портативную игровую консоль Pocket DS с Android и двумя экранами 11 ч.
Domino's научила робопса Boston Dynamics Spot доставлять пиццу и отгонять чаек 12 ч.
Elgato выпустила Facecam 4K — веб-камеру с поддержкой 4K при 60 FPS и сменными фильтрами за $200 12 ч.