Сегодня 19 октября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Amazon представила предохранитель от галлюцинаций ИИ

Облачное подразделение Amazon Web Services (AWS) представило на мероприятии re:Invent 2024 систему Automated Reasoning. Эта система предназначена для борьбы с «галлюцинациями» — сбоями в моделях искусственного интеллекта, при которых они дают не соответствующие действительности ответы.

 Источник изображений: BoliviaInteligente / unsplash.com

Источник изображений: BoliviaInteligente / unsplash.com

Система проверок Automated Reasoning направлена на сокращение числа потенциально опасных ошибок, вызванных «галлюцинациями» — такие сбои угрожают безопасности служб ИИ и могут привести к финансовым потерям для компаний. Они могут возникать из-за ошибок в массивах данных, на которых обучались модели ИИ. AWS характеризует Automated Reasoning как «первую и единственную защиту генеративного ИИ, которая помогает предотвращать фактические ошибки из-за галлюцинаций модели». Система пытается решить проблему путём перекрёстной сверки генерируемых моделью ответов с предоставленной клиентом информацией. Если ей не удаётся определить, совпадает ли ответ в точности, он направляется обратно в ту же модель для проверки собственными силами.

Automated Reasoning входит в пакет инструментов Amazon Bedrock Guardrails — новая система проверки пытается отследить, каким образом модель пришла к данному ей ответу, и если в цепочке обнаруживается ошибка, его сверяют с предоставленным клиентом массивом данных. Система предлагает собственный ответ на запрос, позволяя клиенту увидеть возможный фактический разрыв и при необходимости провести дополнительную настройку модели. В качестве примера AWS привела поставщика медицинских услуг — он применяет инструмент, чтобы убедиться, что на запросы клиентов о политиках работы компании даются ответы, которые не вводят в заблуждение.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google свернула проект Privacy Sandbox после шести лет разработки 9 ч.
Новая статья: Ghost of Yotei — месть, расцветшая с сакурой. Рецензия 15 ч.
Новая статья: Gamesblender № 748: подробности PS6 и новой Xbox, «вселенная ужасов» Tencent и юбилей Serious Sam 2 15 ч.
Twitch анонсировал двухформатные эфиры, функции с ИИ и новые средства монетизации 21 ч.
Microsoft научила Paint в Windows 11 генерировать анимации и редактировать изображения с помощью ИИ 23 ч.
Meta набирает джунов без опыта на зарплату $290 тыс. в год: Цукерберг считает, что главное — это навыки 23 ч.
ИИ-бот Google Gemini успешно конкурирует в области редактирования фото с инструментами Adobe 18-10 08:19
Новая статья: Baby Steps — встань и иди. Рецензия 18-10 00:06
Интерес к ChatGPT на смартфонах стал угасать — пользователи проводят в приложении всё меньше времени 18-10 00:00
ИИ Meta будет предлагать пользователям отредактировать и опубликовать фото из галереи смартфона 17-10 23:21