Сегодня 22 ноября 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft защитила клиентские ИИ-приложения от галлюцинаций

Корпорация Microsoft разработала насколько новых средств безопасности приложений на основе искусственного интеллекта — эти инструменты адресованы клиентам, которые не имеют возможности самостоятельно проводить стресс-тесты своих продуктов.

 Источник изображения: azure.microsoft.com

Источник изображения: azure.microsoft.com

Средства безопасности, сами основанные на большой языковой модели, обнаруживают галлюцинации ИИ-приложений, то есть выдаваемую ими правдоподобную, но не соответствующую действительности информацию, и в реальном времени блокируют потенциально опасные пользовательские запросы. Это поможет избежать нежелательных дискуссий о генеративном ИИ, порождённых различными инцидентами: дипфейками со знаменитостями, попытками фальсификации истории и созданием прочих недопустимых материалов.

На начальном этапе средства безопасности включают три основные функции. Prompt Shields («защита запросов») блокирует потенциально опасные подсказки, которые провоцируют ИИ нарушать заданные правила. Groundedness Detection («оценка связи с действительностью») обнаруживает и блокирует галлюцинации. И, наконец, это обнаружение защищённых материалов — тех, на которые распространяется авторское право. Скоро к набору добавятся инструменты, направляющие ИИ давать безопасные ответы и отслеживающие потенциально проблемных пользователей. Средства защиты призваны оценивать безопасность и запросов к ИИ, и ответов на них.

В ходе недавнего инцидента генератор изображений Google Gemini сам пострадал от фильтров, направленных на расширение расовой инклюзивности — в Microsoft решили подстраховаться от подобных происшествий, применив метод индивидуального контроля. С другой стороны, компания не хочет брать на себя роль диктатора и голоса истины в последней инстанции в области морального облика ИИ, поэтому клиенты Azure могут отключать предлагаемые ей фильтры.

В перспективе система предложит клиентам Azure отчёты о пользователях, которые пытаются провоцировать ИИ на недопустимые ответы — это поможет администраторам ресурсов выяснять, какие из этих запросов отправлялись в рамках тестирования, а какие исходили от людей с вероятными недобрыми намерениями. Средства безопасности уже доступны для работы с наиболее популярными моделями, включая GPT-4 и Llama 2. Проработка безопасности менее популярных платформ будет осуществляться в индивидуальном порядке.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Итоги Golden Joystick Awards 2024 — Final Fantasy VII Rebirth и Helldivers 2 забрали больше всех наград, а Black Myth: Wukong стала игрой года 48 мин.
В программу сохранения классических игр от GOG вошли S.T.A.L.K.E.R. Shadow of Chernobyl и Call of Pripyat, а Clear Sky — на подходе 2 ч.
Star Wars Outlaws вышла в Steam с крупным обновлением и дополнением про Лэндо Калриссиана 3 ч.
Рекордная скидка и PvP-режим Versus обернулись для Warhammer: Vermintide 2 полумиллионом новых игроков за неделю 5 ч.
Роскомнадзор с декабря начнёт блокировать сайты за публикацию научной информации о VPN 5 ч.
Новый трейлер раскрыл дату выхода Mandragora — метроидвании с элементами Dark Souls и нелинейной историей от соавтора Vampire: The Masquerade — Bloodlines 6 ч.
В Японии порекомендовали добавить в завещания свои логины и пароли 8 ч.
Обновления Windows 11 больше не будут перезагружать ПК, но обычных пользователей это не касается 8 ч.
VK похвасталась успехами «VK Видео» на фоне замедления YouTube 10 ч.
GTA наоборот: полицейская песочница The Precinct с «дозой нуара 80-х» не выйдет в 2024 году 11 ч.
Представлен внешний SSD SanDisk Extreme на 8 Тбайт за $800 и скоростной SanDisk Extreme PRO с USB4 27 мин.
Представлен безбуферный SSD WD_Black SN7100 со скорость до 7250 Мбайт/с и внешний SSD WD_Black C50 для Xbox 32 мин.
Новая статья: Обзор ноутбука ASUS Zenbook S 16 (UM5606W): Ryzen AI в естественной среде 47 мин.
Redmi показала флагманский смартфон K80 Pro и объявила дату его премьеры 3 ч.
SpaceX рассказала, почему затопила ракету Super Heavy во время последнего запуска Starship 4 ч.
Астрономы впервые сфотографировали умирающую звезду за пределами нашей галактики — она выглядит не так, как ожидалось 6 ч.
Японская Hokkaido Electric Power намерена перезапустить ядерный реактор для удовлетворения потребности ЦОД в энергии 7 ч.
Meta планирует построить за $5 млрд кампус ЦОД в Луизиане 8 ч.
Arm задаёт новый стандарт для ПК, чтобы навязать конкуренцию x86 8 ч.
HPE готова ответить на любые вопросы Минюста США по расследованию покупки Juniper за $14 млрд 8 ч.