Сегодня 22 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Медицинские ИИ легко дают вредные советы, если симптомы описаны умными словами

Современные большие языковые модели (LLM), применяемые в медицине, часто позиционируются как инструмент для повышения безопасности и качества обслуживания пациентов. ИИ выступают помощниками врачей при обработке информации, что ускоряет работу медиков. Однако новое исследование выявило серьёзную уязвимость: медицинские ИИ-системы способны повторять и передавать ложную информацию, если она представлена в убедительной форме.

 Источник изображения: ИИ-генерация Grok 4/3DNews

Источник изображения: ИИ-генерация Grok 4

В ходе масштабного эксперимента исследователи протестировали девять ведущих LLM, используя более миллиона запросов. Они создали три типа сценариев: реальные истории болезней из базы MIMIC с одной добавленной ложной, популярные мифы о здоровье с форума Reddit и 300 клинических ситуаций, составленных и проверенных врачами. Ложные утверждения варьировались по стилю — от нейтральных до эмоционально окрашенных, а также наталкивающих на определённые выводы (не обязательно верные). Результаты показали, что модели часто принимали уверенно сформулированные ложные медицинские утверждения за истину, отдавая приоритет стилю и контексту, а не медицинской точности.

Исследование показало, что существующие механизмы защиты LLM недостаточно надёжно отличают правду от вымысла в клинической документации или в социальных сетях. Модели склонны воспроизводить ложь, если она выглядит как стандартная медицинская рекомендация или часть обсуждения в соцсетях. Авторы подчёркивают, что восприимчивость ИИ к дезинформации следует рассматривать как измеримый параметр безопасности, а не как случайную ошибку. Для этого они предлагают использовать созданный ими набор данных как «стресс-тест» для медицинских ИИ-систем. Надеемся, они будут услышаны разработчиками.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Cop Bastard — симулятор крутого парня. Рецензия 6 ч.
Драйвер GeForce чрезмерно изнашивал SSD — Nvidia выпустила исправление 13 ч.
Персонажи с памятью и миры под управлением ИИ — Ubisoft создала Motherbrain для внедрения ИИ в игры 15 ч.
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 15 ч.
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 19 ч.
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 21-11 00:04
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 20-11 23:48
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 20-11 22:11
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 20-11 20:17
Аналитики: стартовые продажи GTA VI стали лучшими в истории индустрии развлечений и уже принесли Rockstar более двух миллиардов долларов 20-11 19:57
Восемь лет и девять гравитационных манёвров — BepiColombo выходит на орбиту Меркурия 12 ч.
Трамп надумал брать налоги с зарубежных ЦОД американских компаний 15 ч.
Everpure отчиталась о рекордной выручке и повысила прогноз на год 15 ч.
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 16 ч.
«Было установлено, что он лгал» — вот почему Хуанга уволили из Nvidia 19 ч.
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 20 ч.
Micron собралась поставить память прямо на процессоры — многослойная DRAM появится в 2028–2029 годах 21-11 00:30
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 20-11 21:46
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 20-11 21:45
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 20-11 21:42