Сегодня 02 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI повысит безопасность своих ИИ-моделей с помощью «иерархии инструкций»

OpenAI разработала новый метод под названием «Иерархия инструкций» для повышения безопасности своих больших языковых моделей (LLM). Этот метод, впервые применённый в новой модели GPT-4o Mini, направлен на предотвращение нежелательного поведения ИИ, вызванного манипуляциями недобросовестных пользователей с помощью определённых команд.

 Источник изображения: Copilot

Источник изображения: Copilot

Руководитель платформы API в OpenAI Оливье Годеман (Olivier Godement) объяснил, что «иерархия инструкций» позволит предотвращать опасные инъекции промтов с помощью скрытых подсказок, которые пользователи используют для обхода ограничений и изначальных установок модели, и блокировать атаки типа «игнорировать все предыдущие инструкции».

Новый метод, как пишет The Verge, отдаёт приоритет исходным инструкциям разработчика, делая модель менее восприимчивой к попыткам конечных пользователей заставить её выполнять нежелательные действия. В случае конфликта между системными инструкциями и командами пользователя, модель будет отдавать наивысший приоритет именно системным инструкциям, отказываясь выполнять инъекции.

Исследователи OpenAI считают, что в будущем будут разработаны и другие, более сложные средства защиты, особенно для агентных сценариев использования, при которых ИИ-агенты создаются разработчиками для собственных приложений. Учитывая, что OpenAI сталкивается с постоянными проблемами в области безопасности, новый метод, применённый к GPT-4o Mini, имеет большое значение для последующего подхода к разработке ИИ-моделей.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Apple намекнула на масштабный редизайн iOS 26 в новом слогане WWDC25 2 ч.
«Алиса» научится сама бронировать столики и не только — «Яндекс» превратит помощницу в ИИ-агента 2 ч.
Astra Linux получит интеграцию с нейросетью GigaChat 2 ч.
Представлена автомобильная версия российской ОС «Аврора» — первыми её получат Lada, УАЗ и другие отечественные авто 2 ч.
Амбициозная игра про Джеймса Бонда от разработчиков Hitman готовится выйти из тени — IO Interactive анонсировала 007 First Light 3 ч.
Исследование раскрыло, что почти 60 % российских родителей сталкивались с неконтролируемыми тратами детей в играх 4 ч.
Apple отказалась пускать конкурентов к личным данным пользователей iPhone — этого требует закон ЕС 4 ч.
«Tango Gameworks наконец вернулась»: создатели Hi-Fi Rush возобновили работу и подтвердили производство секретной игры 5 ч.
Первый пострелизный патч для Elden Ring Nightreign упростил жизнь игрокам-одиночкам и увеличил награды 7 ч.
Telegram, подвинься: Маск представил XChat для личных переписок в X с шифрованием в стиле биткоина 10 ч.