Сегодня 19 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI повысит безопасность своих ИИ-моделей с помощью «иерархии инструкций»

OpenAI разработала новый метод под названием «Иерархия инструкций» для повышения безопасности своих больших языковых моделей (LLM). Этот метод, впервые применённый в новой модели GPT-4o Mini, направлен на предотвращение нежелательного поведения ИИ, вызванного манипуляциями недобросовестных пользователей с помощью определённых команд.

 Источник изображения: Copilot

Источник изображения: Copilot

Руководитель платформы API в OpenAI Оливье Годеман (Olivier Godement) объяснил, что «иерархия инструкций» позволит предотвращать опасные инъекции промтов с помощью скрытых подсказок, которые пользователи используют для обхода ограничений и изначальных установок модели, и блокировать атаки типа «игнорировать все предыдущие инструкции».

Новый метод, как пишет The Verge, отдаёт приоритет исходным инструкциям разработчика, делая модель менее восприимчивой к попыткам конечных пользователей заставить её выполнять нежелательные действия. В случае конфликта между системными инструкциями и командами пользователя, модель будет отдавать наивысший приоритет именно системным инструкциям, отказываясь выполнять инъекции.

Исследователи OpenAI считают, что в будущем будут разработаны и другие, более сложные средства защиты, особенно для агентных сценариев использования, при которых ИИ-агенты создаются разработчиками для собственных приложений. Учитывая, что OpenAI сталкивается с постоянными проблемами в области безопасности, новый метод, применённый к GPT-4o Mini, имеет большое значение для последующего подхода к разработке ИИ-моделей.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft исправила критическую уязвимость ASP.NET Core, которая позволяла красть секретные данные и ломать серверы 5 ч.
Google свернула проект Privacy Sandbox после шести лет разработки 18 ч.
Новая статья: Ghost of Yotei — месть, расцветшая с сакурой. Рецензия 24 ч.
Новая статья: Gamesblender № 748: подробности PS6 и новой Xbox, «вселенная ужасов» Tencent и юбилей Serious Sam 2 24 ч.
Twitch анонсировал двухформатные эфиры, функции с ИИ и новые средства монетизации 18-10 17:54
Microsoft научила Paint в Windows 11 генерировать анимации и редактировать изображения с помощью ИИ 18-10 16:10
Meta набирает джунов без опыта на зарплату $290 тыс. в год: Цукерберг считает, что главное — это навыки 18-10 15:54
ИИ-бот Google Gemini успешно конкурирует в области редактирования фото с инструментами Adobe 18-10 08:19
Новая статья: Baby Steps — встань и иди. Рецензия 18-10 00:06
Интерес к ChatGPT на смартфонах стал угасать — пользователи проводят в приложении всё меньше времени 18-10 00:00