Сегодня 22 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → gpt-4o mini

OpenAI повысит безопасность своих ИИ-моделей с помощью «иерархии инструкций»

OpenAI разработала новый метод под названием «Иерархия инструкций» для повышения безопасности своих больших языковых моделей (LLM). Этот метод, впервые применённый в новой модели GPT-4o Mini, направлен на предотвращение нежелательного поведения ИИ, вызванного манипуляциями недобросовестных пользователей с помощью определённых команд.

 Источник изображения: Copilot

Источник изображения: Copilot

Руководитель платформы API в OpenAI Оливье Годеман (Olivier Godement) объяснил, что «иерархия инструкций» позволит предотвращать опасные инъекции промтов с помощью скрытых подсказок, которые пользователи используют для обхода ограничений и изначальных установок модели, и блокировать атаки типа «игнорировать все предыдущие инструкции».

Новый метод, как пишет The Verge, отдаёт приоритет исходным инструкциям разработчика, делая модель менее восприимчивой к попыткам конечных пользователей заставить её выполнять нежелательные действия. В случае конфликта между системными инструкциями и командами пользователя, модель будет отдавать наивысший приоритет именно системным инструкциям, отказываясь выполнять инъекции.

Исследователи OpenAI считают, что в будущем будут разработаны и другие, более сложные средства защиты, особенно для агентных сценариев использования, при которых ИИ-агенты создаются разработчиками для собственных приложений. Учитывая, что OpenAI сталкивается с постоянными проблемами в области безопасности, новый метод, применённый к GPT-4o Mini, имеет большое значение для последующего подхода к разработке ИИ-моделей.

OpenAI представила облегченную мощную ИИ-модель GPT-4o Mini — она заменит GPT-3.5 для всех пользователей

Компания OpenAI официально представила упрощённую и более доступную версию своей самой мощной большой языковой модели GPT-4o. Речь идёт о нейросети GPT-4o Mini, использование которой для разработчиков будет более выгодно с экономической точки зрения, но при этом её производительность выше, чем у GPT-3.5.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Создание приложений с использованием языковых моделей OpenAI может обернуться огромными расходами. При отсутствии достаточного количества средств разработчики могут отказаться от их использования в пользу более доступных аналогов, таких как Gemini 1.5 Flash от Google или Claude 3 Haiku от Anthropic. Теперь же с запуском GPT-4o Mini в этом сегменте конкуренция будет более острой.

«Я думаю, что GPT-4o Mini действительно соответствует миссии OpenAI — сделать более доступный для людей ИИ-алгоритм. Если мы хотим, чтобы ИИ приносил пользу в каждом уголке мира, в каждой отрасли, в каждом приложении, мы должны сделать ИИ гораздо более доступным», — рассказал представитель OpenAI.

Начиная с сегодняшнего дня, пользователи ChatGPT на тарифах Free, Plus и Team могут использовать GPT-4o Mini вместо GPT-3.5 Turbo, а пользователи на тарифе Enterprise получат такую возможность на следующей неделе. Это означает, что языковая модель GPT-3.5 больше не будет доступна для пользователей ChatGPT, но её по-прежнему смогут задействовать разработчики через соответствующий API, если они не планируют перейти на GPT-4o Mini. Когда именно доступ к GPT-3.5 будет закрыт полностью, пока неизвестно.

Языковая модель GPT-4o Mini поддерживает работу с текстом, изображениями, аудио- и видеоконтентом. При этом алгоритм всё же предназначен для решения простых задач, поэтому он может оказаться полезным для добавления разных узконаправленных функций в приложения сторонних разработчиков. В эталонном тесте MMLU новая языковая модель OpenAI набрала 82 %. Для сравнения, результат GPT-3.5 в этом же тесте 70 %, GPT-4o — 88,7 %, Gemini Ultra — 90 %. Конкурирующие с GPT-4o Mini языковые модели Claude 3 Haiku и Gemini 1.5 Flash набрали в этом тесте 75,2 % и 78,9 % соответственно.


window-new
Soft
Hard
Тренды 🔥
«VK Видео» запустит платную подписку для отключения рекламы в видео 14 мин.
Разработчики ИИ-приложений предпочитают технологии OpenAI, но всё быстро меняется 41 мин.
«Нанософт»: уровень пиратства на рынке инженерного ПО в России вырос до 70 % 59 мин.
Закулисное обновление разожгло слухи о скором анонсе ремейка культовой ролевой игры Persona 4 2 ч.
SolarWinds Corporation перешла в частную собственность — сделка по её покупке завершена 3 ч.
Конференция OS DAY 2025 «Изолированные среды исполнения в современных ОС» 4 ч.
Google против разделения: это ударит по потребителям и навредит США в «глобальной гонке с Китаем» 5 ч.
Ночью в России произошёл сбой в работе Telegram и WhatsApp 5 ч.
Туманные перспективы: игроков начали приглашать на «бету» Silent Hill f, но это обман 6 ч.
Dr.Web отмечает 33 года: скидка 20 % на Dr.Web Security Space в честь дня рождения легендарного антивируса 7 ч.
Toshiba выпустила 24-Тбайт жёсткие диски N300 и N300 Pro на технологии CMR для работы 24/7 9 мин.
Новые игровые тесты показали пропасть в производительности между разными версиями GeForce RTX 5060 Ti 22 мин.
Грузовик SpaceX Cargo Dragon доставил на МКС рекордный объём продуктов питания 33 мин.
Samsung остановит производство отдельных видов DDR4, но китайцы не оставят мир без этой памяти 3 ч.
Huawei готовит 6-нм ИИ-ускоритель Ascend 920 с производительностью 900 Тфлопс 4 ч.
ИИ-чипы будут выпускать на больших стёклах: Nippon Electric Glass начнёт поставки стеклянных подложек в 2026 году 4 ч.
США ввели пошлины до 3521 % на азиатские солнечные панели — это ударит по «зелёной» энергетике 4 ч.
Торговая война пока лишь увеличила отгрузку товаров из Китая 4 ч.
Amazon снова объявила готовности к запуску первой партии интернет-спутников Project Kuiper 4 ч.
В Россию запретят поставлять ноутбуки и серверы HP и Fujitsu 5 ч.