Сегодня 04 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI повысит безопасность своих ИИ-моделей с помощью «иерархии инструкций»

OpenAI разработала новый метод под названием «Иерархия инструкций» для повышения безопасности своих больших языковых моделей (LLM). Этот метод, впервые применённый в новой модели GPT-4o Mini, направлен на предотвращение нежелательного поведения ИИ, вызванного манипуляциями недобросовестных пользователей с помощью определённых команд.

 Источник изображения: Copilot

Источник изображения: Copilot

Руководитель платформы API в OpenAI Оливье Годеман (Olivier Godement) объяснил, что «иерархия инструкций» позволит предотвращать опасные инъекции промтов с помощью скрытых подсказок, которые пользователи используют для обхода ограничений и изначальных установок модели, и блокировать атаки типа «игнорировать все предыдущие инструкции».

Новый метод, как пишет The Verge, отдаёт приоритет исходным инструкциям разработчика, делая модель менее восприимчивой к попыткам конечных пользователей заставить её выполнять нежелательные действия. В случае конфликта между системными инструкциями и командами пользователя, модель будет отдавать наивысший приоритет именно системным инструкциям, отказываясь выполнять инъекции.

Исследователи OpenAI считают, что в будущем будут разработаны и другие, более сложные средства защиты, особенно для агентных сценариев использования, при которых ИИ-агенты создаются разработчиками для собственных приложений. Учитывая, что OpenAI сталкивается с постоянными проблемами в области безопасности, новый метод, применённый к GPT-4o Mini, имеет большое значение для последующего подхода к разработке ИИ-моделей.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
RuStore и АКИ создадут экосистему для развития мобильных игр и «появления новых российских хитов на мировом рынке» 3 ч.
Релиз «Альт Рабочая станция» 11.1: шифрование по ГОСТ, расширенная поддержка видеокарт Nvidia, приложения собственной разработки 4 ч.
«Уже лучшая игра 2026 года для меня»: журналисты показали сражение с боссом в Nioh 3, и фанаты в восторге 4 ч.
Франция оштрафовала Google на €325 миллионов за нарушение требований по защите потребителей 4 ч.
Функция Projects в ChatGPT стала доступна бесплатным пользователям 5 ч.
Как шахматы, но быстрее: соавтор Nuclear Throne анонсировал странную пошаговую стратегию Australia Did It 5 ч.
Произошёл серьёзный сбой в работе сервисов Google 5 ч.
Присяжные в суде Сан-Франциско обязали Google выплатить более $425 млн за нарушение конфиденциальности 6 ч.
Надёжный инсайдер: новая God of War в разработке, а Marvel’s Wolverine скоро выйдет из тени 8 ч.
Дождались: Instagram впервые за 15 лет выпустил приложение для iPad 16 ч.