Сегодня 25 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI повысит безопасность своих ИИ-моделей с помощью «иерархии инструкций»

OpenAI разработала новый метод под названием «Иерархия инструкций» для повышения безопасности своих больших языковых моделей (LLM). Этот метод, впервые применённый в новой модели GPT-4o Mini, направлен на предотвращение нежелательного поведения ИИ, вызванного манипуляциями недобросовестных пользователей с помощью определённых команд.

 Источник изображения: Copilot

Источник изображения: Copilot

Руководитель платформы API в OpenAI Оливье Годеман (Olivier Godement) объяснил, что «иерархия инструкций» позволит предотвращать опасные инъекции промтов с помощью скрытых подсказок, которые пользователи используют для обхода ограничений и изначальных установок модели, и блокировать атаки типа «игнорировать все предыдущие инструкции».

Новый метод, как пишет The Verge, отдаёт приоритет исходным инструкциям разработчика, делая модель менее восприимчивой к попыткам конечных пользователей заставить её выполнять нежелательные действия. В случае конфликта между системными инструкциями и командами пользователя, модель будет отдавать наивысший приоритет именно системным инструкциям, отказываясь выполнять инъекции.

Исследователи OpenAI считают, что в будущем будут разработаны и другие, более сложные средства защиты, особенно для агентных сценариев использования, при которых ИИ-агенты создаются разработчиками для собственных приложений. Учитывая, что OpenAI сталкивается с постоянными проблемами в области безопасности, новый метод, применённый к GPT-4o Mini, имеет большое значение для последующего подхода к разработке ИИ-моделей.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Редактор модов Zone Kit для S.T.A.L.K.E.R. 2: Heart of Chornobyl требует 659 гигабайт для установки — GSC объяснила аномалию 36 мин.
Вдохновлённое Disco Elysium мистическое приключение Pera Coda отправит исследовать сюрреалистический Стамбул и глубины собственной психики 2 ч.
Google представила Chrome 138 с новыми ИИ-функциями, исправлениями уязвимостей и синхронизацией групп вкладок 4 ч.
Живой мир, больше разнообразия и ещё несколько лет до релиза: основатель Mundfish поделился новыми подробностями Atomic Heart 2 4 ч.
Audi и Mercedes-Benz отказались от платформы Apple CarPlay Ultra, но обычный CarPlay оставят 5 ч.
Xbox подтвердила дату выхода Senua's Saga: Hellblade II на PS5 и анонсировала улучшения для игры на PC и Xbox 5 ч.
Chrome для Android наконец научился переносить адресную строку в нижнюю часть экрана 6 ч.
Nvidia завершила бета-тестирование DLSS Transformer — с ней игры пойдут в 4K и 240 FPS 6 ч.
Diablo IV возглавила июльскую подборку игр для подписчиков PS Plus, а Sony готовится к празднику 6 ч.
HPE делает ставку на повсеместное использование ИИ-агентов 7 ч.
Philips представила 27-дюймовый IPS-монитор Evnia 27M2N3501PA с разрешением 1440p и частотой до 260 Гц 29 мин.
Huawei представит флагманы Pura 80 на международном рынке раньше, чем ожидалось 56 мин.
Asus анонсировала GeForce RTX 5050 Prime и RTX 5050 Dual с заводским разгоном и без 2 ч.
Samsung не рассчитывает на оглушительный успех XR-гарнитуры Project Moohan на старте продаж 2 ч.
Vivo представила беспроводные наушники TWS Air3 Pro с мощным шумоподавлением и автономностью до 52 часов 2 ч.
Toshiba создала литиевые аккумуляторы, которые заряжается до 80 % за 6 минут и выдерживает 20 000 циклов 2 ч.
Vivo выпустила смарт-часы Watch 5 с поддержкой eSIM за $140 — есть и версия подешевле 2 ч.
TCL выпустила 57-дюймовый игровой монитор 57R94 с разрешением 8K2K и частотой обновления 120 Гц 4 ч.
HPE представила новые решения для частных ИИ-фабрик на базе решений NVIDIA 5 ч.
Представлен Fairphone 6 — смартфон с повышенной ремонтопригодностью, 8 годами обновлений и модульными аксессуарами 5 ч.