Сегодня 28 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft защитила клиентские ИИ-приложения от галлюцинаций

Корпорация Microsoft разработала насколько новых средств безопасности приложений на основе искусственного интеллекта — эти инструменты адресованы клиентам, которые не имеют возможности самостоятельно проводить стресс-тесты своих продуктов.

 Источник изображения: azure.microsoft.com

Источник изображения: azure.microsoft.com

Средства безопасности, сами основанные на большой языковой модели, обнаруживают галлюцинации ИИ-приложений, то есть выдаваемую ими правдоподобную, но не соответствующую действительности информацию, и в реальном времени блокируют потенциально опасные пользовательские запросы. Это поможет избежать нежелательных дискуссий о генеративном ИИ, порождённых различными инцидентами: дипфейками со знаменитостями, попытками фальсификации истории и созданием прочих недопустимых материалов.

На начальном этапе средства безопасности включают три основные функции. Prompt Shields («защита запросов») блокирует потенциально опасные подсказки, которые провоцируют ИИ нарушать заданные правила. Groundedness Detection («оценка связи с действительностью») обнаруживает и блокирует галлюцинации. И, наконец, это обнаружение защищённых материалов — тех, на которые распространяется авторское право. Скоро к набору добавятся инструменты, направляющие ИИ давать безопасные ответы и отслеживающие потенциально проблемных пользователей. Средства защиты призваны оценивать безопасность и запросов к ИИ, и ответов на них.

В ходе недавнего инцидента генератор изображений Google Gemini сам пострадал от фильтров, направленных на расширение расовой инклюзивности — в Microsoft решили подстраховаться от подобных происшествий, применив метод индивидуального контроля. С другой стороны, компания не хочет брать на себя роль диктатора и голоса истины в последней инстанции в области морального облика ИИ, поэтому клиенты Azure могут отключать предлагаемые ей фильтры.

В перспективе система предложит клиентам Azure отчёты о пользователях, которые пытаются провоцировать ИИ на недопустимые ответы — это поможет администраторам ресурсов выяснять, какие из этих запросов отправлялись в рамках тестирования, а какие исходили от людей с вероятными недобрыми намерениями. Средства безопасности уже доступны для работы с наиболее популярными моделями, включая GPT-4 и Llama 2. Проработка безопасности менее популярных платформ будет осуществляться в индивидуальном порядке.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Spotify начнёт маркировать музыку с ИИ и запретит клонированные голоса 7 мин.
Функции YouTube Premium теперь стали доступны на всех устройствах — iOS, Android и ПК 11 мин.
Новая статья: Dying Light: The Beast — свобода или клетка? Рецензия 6 ч.
Asus признала подтормаживания геймерских ноутбуков ROG и пообещала скоро всё исправить 12 ч.
Российская платформа для разработки GitFlic дополнилась интеграцией с системами управления проектами 15 ч.
«Фотографии» в Windows 11 научатся автоматически сортировать изображения и распознавать надписи не только на английском 15 ч.
В смартфонах OnePlus обнаружена дыра в безопасности — любое приложение может читать все SMS без разрешения 16 ч.
«Бро постит ИИ-бурду у себя в приложении»: Meta запустила платформу Vibes для коротких ИИ-видео 16 ч.
YouTube Music превратили в подобие радио с ИИ-ведущими, которые «расширят музыкальные горизонты» 18 ч.
Сайт и бренд закрывшегося известного магазина «Плеер.ру» сдадут в аренду — не дешевле 500 тыс. рублей в месяц 19 ч.
Oracle взяла на себя ещё $18 млрд долга для расширения бизнеса и строительства ИИ-инфраструктуры 6 ч.
Учёные нашли у Земли седьмую «ложную Луну» — квазиспутник 2025 PN7 9 ч.
Horizon Fuel Cell представила 3-МВт модуль с водородными топливными элементами для замены дизель-генераторов 13 ч.
Чип с «сосудами»: Microsoft и Corintis вытравили микроканалы для СЖО прямо в кремнии 14 ч.
Учёные запустили самую большую и детальную симуляцию Вселенной — она поможет в поиске тёмных материи и энергии 14 ч.
Майнинговая компания Iren увеличила мощность ИИ-облака, закупив тысячи ускорителей NVIDIA и AMD за $674 млн 15 ч.
Трамп собрался привязать пошлины на импортную электронику к числу чипов в ней 22 ч.
Пентагон может называть производителя дронов DJI китайской военной компанией, постановил суд 23 ч.
Google создала и показала в деле ИИ, который заставляет роботов сначала думать, а потом делать 27-09 01:10
Asus отдаст видеокарту GeForce RTX 5090 ROG Astral с подписью Хуанга за лучший дизайн видеокарты 27-09 00:59