Сегодня 01 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI повысит безопасность своих ИИ-моделей с помощью «иерархии инструкций»

OpenAI разработала новый метод под названием «Иерархия инструкций» для повышения безопасности своих больших языковых моделей (LLM). Этот метод, впервые применённый в новой модели GPT-4o Mini, направлен на предотвращение нежелательного поведения ИИ, вызванного манипуляциями недобросовестных пользователей с помощью определённых команд.

 Источник изображения: Copilot

Источник изображения: Copilot

Руководитель платформы API в OpenAI Оливье Годеман (Olivier Godement) объяснил, что «иерархия инструкций» позволит предотвращать опасные инъекции промтов с помощью скрытых подсказок, которые пользователи используют для обхода ограничений и изначальных установок модели, и блокировать атаки типа «игнорировать все предыдущие инструкции».

Новый метод, как пишет The Verge, отдаёт приоритет исходным инструкциям разработчика, делая модель менее восприимчивой к попыткам конечных пользователей заставить её выполнять нежелательные действия. В случае конфликта между системными инструкциями и командами пользователя, модель будет отдавать наивысший приоритет именно системным инструкциям, отказываясь выполнять инъекции.

Исследователи OpenAI считают, что в будущем будут разработаны и другие, более сложные средства защиты, особенно для агентных сценариев использования, при которых ИИ-агенты создаются разработчиками для собственных приложений. Учитывая, что OpenAI сталкивается с постоянными проблемами в области безопасности, новый метод, применённый к GPT-4o Mini, имеет большое значение для последующего подхода к разработке ИИ-моделей.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Вернулись к тому, с чего начинали: похоже, Blizzard готовится переименовать Overwatch 2 в Overwatch 5 ч.
Календарь релизов — 1–6 апреля: The Last of Us Part II Remastered на ПК и Steel Hunters 5 ч.
Новая игра по «Звёздным войнам» от бывших разработчиков XCOM выглядит как XCOM по «Звёздным войнам» — первые скриншоты 5 ч.
Apple выпустила iOS 18.4 с «Приоритетными уведомлениями» от ИИ и другими улучшениями 5 ч.
«Софтлайн» опубликовал аудированные итоги 2024 года, подтвердив увеличение прогноза на 2025 год 7 ч.
«Жестокая, энергичная и без компромиссов»: впечатления журналистов и 14 минут нового геймплея Doom: The Dark Ages 7 ч.
В «Google Презентациях» появился ИИ для генерации изображений Imagen 3 и другие инструменты для «потрясающих презентаций» 8 ч.
Amazon представила ИИ-агента Nova Act, который заменит человека в интернет-серфинге 10 ч.
Слухи: четыре известные корейские компании устроили борьбу за право создавать новые игры по StarCraft 10 ч.
Голливудские студии перенаправили монетизацию фейковых трейлеров на YouTube себе в карман 11 ч.
Новая статья: Обзор смартфона HONOR Magic 7: зачем платить больше? 4 ч.
Zotac представила GeForce RTX 5070 Ti в компактной версии Solid SFF и белой Solid White 4 ч.
Micron предупредила о дальнейшем росте цен на DRAM и NAND, и обвинила в этом ИИ 5 ч.
Стартовали продажи игровых ноутбуков с Nvidia Blackwell — за мобильную RTX 5090 просят как минимум $4299 7 ч.
На рынке комплектующих для игровых ПК появился новый крупный игрок — HP расширила ассортимент геймерского бренда Omen 10 ч.
Acer представила 240-Гц игровые QD-OLED-мониторы Predator X27U X1 и Predator X32 X2 по цене от $600 10 ч.
Meta подписала соглашение с Sembcorp о поставке энергии плавучих солнечных генераторов в Сингапуре 10 ч.
Возврат к корням: Vantage Towers разместила базовые станции на деревянных столбах 11 ч.
Arm собралась руками Nvidia захватить половину рынка процессоров для дата-центров 11 ч.
Доступная раскладушка Samsung Galaxy Z Flip 7 FE будет выглядеть точно как прошлогодний Z Flip 6 13 ч.