Сегодня 21 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Медицинские ИИ легко дают вредные советы, если симптомы описаны умными словами

Современные большие языковые модели (LLM), применяемые в медицине, часто позиционируются как инструмент для повышения безопасности и качества обслуживания пациентов. ИИ выступают помощниками врачей при обработке информации, что ускоряет работу медиков. Однако новое исследование выявило серьёзную уязвимость: медицинские ИИ-системы способны повторять и передавать ложную информацию, если она представлена в убедительной форме.

 Источник изображения: ИИ-генерация Grok 4/3DNews

Источник изображения: ИИ-генерация Grok 4

В ходе масштабного эксперимента исследователи протестировали девять ведущих LLM, используя более миллиона запросов. Они создали три типа сценариев: реальные истории болезней из базы MIMIC с одной добавленной ложной, популярные мифы о здоровье с форума Reddit и 300 клинических ситуаций, составленных и проверенных врачами. Ложные утверждения варьировались по стилю — от нейтральных до эмоционально окрашенных, а также наталкивающих на определённые выводы (не обязательно верные). Результаты показали, что модели часто принимали уверенно сформулированные ложные медицинские утверждения за истину, отдавая приоритет стилю и контексту, а не медицинской точности.

Исследование показало, что существующие механизмы защиты LLM недостаточно надёжно отличают правду от вымысла в клинической документации или в социальных сетях. Модели склонны воспроизводить ложь, если она выглядит как стандартная медицинская рекомендация или часть обсуждения в соцсетях. Авторы подчёркивают, что восприимчивость ИИ к дезинформации следует рассматривать как измеримый параметр безопасности, а не как случайную ошибку. Для этого они предлагают использовать созданный ими набор данных как «стресс-тест» для медицинских ИИ-систем. Надеемся, они будут услышаны разработчиками.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Из систем суперкомпьютера Fugaku украдены сотни закрытых ключей для доступа к другим суперкомпьютерам и облакам 13 мин.
Биткоин рухнул до двухлетнего минимума — от рекордных $126 000 не осталось и половины 4 ч.
Новая статья: Tanuki: Pon’s Summer — самая очаровательная версия Японии. Рецензия 15 ч.
Запуск GTA VI установил абсолютный рекорд индустрии развлечений — 32 миллиона проданных копий и $3,79 миллиарда выручки 15 ч.
В Steam выйдет самое полное издание «Дальнобойщиков 3: Покорение Америки» с поддержкой русского языка и недоступным прежде контентом 17 ч.
«Включить Bluetooth», «убрать звук», «тёмный режим»: поиск Windows 11 превратился в пульт управления ПК 18 ч.
Anthropic заявила о доказательстве гипотезы Римана с помощью ИИ — одной из главных загадок математики, над которой бились 167 лет 19 ч.
Аналитики: стартовые продажи GTA VI стали лучшими в истории индустрии развлечений и уже принесли Rockstar более двух миллиардов долларов 19 ч.
Миллионы смотрели, миллиарды пакетов летели: GTA VI устроила интернету стресс-тест, взвинтив трафик до рекордных 33 Тбит/с 20 ч.
Культовая ролевая игра The Temple of Elemental Evil от соавторов Fallout спустя 23 года после релиза получила официальный перевод на русский язык 20 ч.
Everpure отчиталась о рекордной выручке и повысила прогноз на год 16 мин.
«Аладдин» представил Aladdin LiveTSM — сертифицированное средство доверенной загрузки для Windows и Linux 25 мин.
Махинации в бухгалтерии Nvidia заинтересовали Комиссию по ценным бумагам и биржам США 5 ч.
Micron собралась поставить память прямо на процессоры — многослойная DRAM появится в 2028–2029 годах 15 ч.
Фотонные сопроцессоры Q.ANT NPU Gen 2+ ускорят работу ИИ 17 ч.
Valve предупредила, что Steam Machine может стать дефицитной и подорожать, —  и объяснила почему 17 ч.
«Фотонная» память для ИИ: MemoryAI Photonic Appliance от Penguin Solutions объединяет до 16 Тбайт DDR5 и 576 Гбайт HBM3E 17 ч.
Сюрприз отменяется: Япония отказалась от полёта к астероиду, который мог оказаться потерянной советской станцией 17 ч.
Власти США разрешили продать ИИ-ускорители Tencent, Baidu и Alibaba 18 ч.
Инвесторы массово выходят из биткоин-ETF — курс главной криптовалюты рухнул ниже $60 000 19 ч.