Сегодня 20 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Amazon представила предохранитель от галлюцинаций ИИ

Облачное подразделение Amazon Web Services (AWS) представило на мероприятии re:Invent 2024 систему Automated Reasoning. Эта система предназначена для борьбы с «галлюцинациями» — сбоями в моделях искусственного интеллекта, при которых они дают не соответствующие действительности ответы.

 Источник изображений: BoliviaInteligente / unsplash.com

Источник изображений: BoliviaInteligente / unsplash.com

Система проверок Automated Reasoning направлена на сокращение числа потенциально опасных ошибок, вызванных «галлюцинациями» — такие сбои угрожают безопасности служб ИИ и могут привести к финансовым потерям для компаний. Они могут возникать из-за ошибок в массивах данных, на которых обучались модели ИИ. AWS характеризует Automated Reasoning как «первую и единственную защиту генеративного ИИ, которая помогает предотвращать фактические ошибки из-за галлюцинаций модели». Система пытается решить проблему путём перекрёстной сверки генерируемых моделью ответов с предоставленной клиентом информацией. Если ей не удаётся определить, совпадает ли ответ в точности, он направляется обратно в ту же модель для проверки собственными силами.

Automated Reasoning входит в пакет инструментов Amazon Bedrock Guardrails — новая система проверки пытается отследить, каким образом модель пришла к данному ей ответу, и если в цепочке обнаруживается ошибка, его сверяют с предоставленным клиентом массивом данных. Система предлагает собственный ответ на запрос, позволяя клиенту увидеть возможный фактический разрыв и при необходимости провести дополнительную настройку модели. В качестве примера AWS привела поставщика медицинских услуг — он применяет инструмент, чтобы убедиться, что на запросы клиентов о политиках работы компании даются ответы, которые не вводят в заблуждение.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Хакеры похитили данные более 1 млн банковских карт в 20 странах включая Россию 2 ч.
Инсайдер раскрыл, когда и где покажут многострадальный ремейк Star Wars: Knights of the Old Republic 2 ч.
«Ждал эту игру почти всю свою жизнь»: Creative Assembly заинтриговала фанатов целым часом нового геймплея Total War: Warhammer 40,000 4 ч.
Apple запустила разработку собственного ИИ-агента, который поселится в компьютерах Mac 4 ч.
Apple потеряла главного разработчика софта для камеры iPhone 4 ч.
Хакер Cyberleek «слил» в открытый доступ почти рабочую сборку GTA VI для Xbox, и это только начало 5 ч.
Google внедрила чаты с ИИ прямо на главную страницу поисковика 14 ч.
Ubisoft похвасталась вкладом Assassin’s Creed Black Flag Resynced в успехи компании и уволила ещё 166 человек 16 ч.
IPO превратило сотрудников Anthropic в мультимиллионеров — в среднем у каждого теперь более $44 млн 17 ч.
Россияне так ждали GTA VI, что начали массово арендовать PlayStation 5 — а заодно вызвали скачок интернет-трафика 17 ч.
DapuStor выпустила SSD серии R6 с СЖО: до 7,68 Тбайт в формате E1.S 5 мин.
Hammerspace представила All-Flash платформу хранения Data System на базе DPU Xsight Labs E1 10 мин.
Марс наносит ответный удар: ровер Perseverance потерял связь, а станция Mars Odyssey — управление ориентацией 31 мин.
Акции китайских разработчиков чипов рухнули из-за угрозы потери доступа к мощностям Samsung и TSMC 2 ч.
Samsung готовится к новому витку ИИ-бума: руководство выпуском памяти доверили разработчику DRAM и HBM 2 ч.
Широкоэкранный складной смартфон Motorola Razr Flex показался на качественных изображениях 5 ч.
Округ Лаудон в «Аллее дата-центров» ввёл годовой мораторий на подачу заявок на строительство ЦОД и подстанций 6 ч.
ИИ-агентный тамагочи Meta Muse Charm будет стоить $300, но это не точно 6 ч.
Dell представила 2OU-узлы с СЖО для платформы хранения Exascale 7 ч.
«Квантовый» VPN: «ТрансТелеКом» запустил сервис высокозащищённой связи «Квант ВПН» на базе сети РЖД 7 ч.