Корпорация Microsoft разработала насколько новых средств безопасности приложений на основе искусственного интеллекта — эти инструменты адресованы клиентам, которые не имеют возможности самостоятельно проводить стресс-тесты своих продуктов.

Обзор игрового 4K IPS-монитора Gigabyte M27UP: разнообразия ради

Итоги 2025-го: ИИ-лихорадка, рыночные войны, конец эпохи Windows 10 и ещё 12 главных событий года

Обзор игрового QD-OLED WQHD-монитора Gigabyte AORUS FO27Q5P: на пределе возможностей

Обзор телевизора Sber SDX-43U4169

Обзор ноутбука TECNO MEGABOOK S14 (S14MM): OLED с HDR как новая норма

Итоги 2025 года: почему память стала роскошью и что будет дальше

Источник изображения: azure.microsoft.com

Средства безопасности, сами основанные на большой языковой модели, обнаруживают галлюцинации ИИ-приложений, то есть выдаваемую ими правдоподобную, но не соответствующую действительности информацию, и в реальном времени блокируют потенциально опасные пользовательские запросы. Это поможет избежать нежелательных дискуссий о генеративном ИИ, порождённых различными инцидентами: дипфейками со знаменитостями, попытками фальсификации истории и созданием прочих недопустимых материалов.

На начальном этапе средства безопасности включают три основные функции. Prompt Shields («защита запросов») блокирует потенциально опасные подсказки, которые провоцируют ИИ нарушать заданные правила. Groundedness Detection («оценка связи с действительностью») обнаруживает и блокирует галлюцинации. И, наконец, это обнаружение защищённых материалов — тех, на которые распространяется авторское право. Скоро к набору добавятся инструменты, направляющие ИИ давать безопасные ответы и отслеживающие потенциально проблемных пользователей. Средства защиты призваны оценивать безопасность и запросов к ИИ, и ответов на них.

В ходе недавнего инцидента генератор изображений Google Gemini сам пострадал от фильтров, направленных на расширение расовой инклюзивности — в Microsoft решили подстраховаться от подобных происшествий, применив метод индивидуального контроля. С другой стороны, компания не хочет брать на себя роль диктатора и голоса истины в последней инстанции в области морального облика ИИ, поэтому клиенты Azure могут отключать предлагаемые ей фильтры.

В перспективе система предложит клиентам Azure отчёты о пользователях, которые пытаются провоцировать ИИ на недопустимые ответы — это поможет администраторам ресурсов выяснять, какие из этих запросов отправлялись в рамках тестирования, а какие исходили от людей с вероятными недобрыми намерениями. Средства безопасности уже доступны для работы с наиболее популярными моделями, включая GPT-4 и Llama 2. Проработка безопасности менее популярных платформ будет осуществляться в индивидуальном порядке.

Инвестиции Microsoft в стартап Mistral AI на сумму примерно $16,3 млн привлекли внимание антимонопольной службы Европейского Союза (ЕС). В рамках этого стратегического партнёрства новейшие ИИ-модели французского разработчика станут доступны клиентам облачной платформы Microsoft Azure.

Обзор телевизора Sber SDX-43U4169

Обзор ноутбука TECNO MEGABOOK S14 (S14MM): OLED с HDR как новая норма

Обзор игрового QD-OLED WQHD-монитора Gigabyte AORUS FO27Q5P: на пределе возможностей

Обзор игрового 4K IPS-монитора Gigabyte M27UP: разнообразия ради

Итоги 2025-го: ИИ-лихорадка, рыночные войны, конец эпохи Windows 10 и ещё 12 главных событий года

Итоги 2025 года: почему память стала роскошью и что будет дальше

Источник изображения: Mistral AI

Отличительной чертой ИИ-моделей Mistral AI является то, что они находятся в открытом доступе, в отличие от аналогичных алгоритмических моделей OpenAI, используемых для создания умных чат-ботов и прочих ИИ-сервисов. Согласно условиям сделки, инвестиции Microsoft будут конвертированы в долю в капитале стартапа в ходе следующего раунда финансирования.

Долгосрочное сотрудничество Microsoft с калифорнийским стартапом OpenAI, оцениваемое примерно в $13 млрд, также находится под пристальным вниманием регуляторов из Великобритании и ЕС. Представитель Европейской комиссии во вторник сообщил, что ведомство проверит инвестиции Microsoft в Mistral AI после получения копии соглашения. Этот процесс может вылиться в официальное расследование, способное помешать реализации планов Microsoft.

Анализ показывает, что пристальное внимание регуляторов к деятельности технологических гигантов в сфере ИИ становится всё более актуальным. Инвестиции в Mistral AI и партнёрство с OpenAI открывают новые горизонты для Microsoft в области облачных технологий и ИИ, однако также подвергают корпорацию дополнительному контролю со стороны антимонопольных органов.