Оригинал материала: https://3dnews.ru/1129542

У медицинского ИИ обнаружилась склонность к дискриминации женщин и расизму

Первые попытки поставить искусственный интеллект на службу медицине много лет назад предпринимались ещё компанией IBM с её системой Watson, но по мере развития отрасли эта область применения компьютерных технологий стала всё более обширной. Учёные утверждают, что существующий подход к обучению больших языковых моделей в медицине делает диагностику менее качественной для представителей женского пола и определённых рас.

 Источник изображения: Nvidia

Источник изображения: Nvidia

Издание Financial Times обобщило высказывания экспертов в смежных областях, пытаясь объяснить, почему существующие языковые модели склонны давать более качественные рекомендации в области здравоохранения представителям мужского пола белой расы. По сути, исторически именно на нужды этой категории пациентов работала вся сфера медицинских исследований, поэтому именно для этой выборки сформировано максимальное количество медицинских данных, на которых и обучались современные большие языковые модели. Более того, та же OpenAI призналась, что в ряде медицинских инициатив использовала менее совершенные языковые модели, чем существующие сейчас — просто по той причине, что на момент реализации проектов других не было. Сейчас специалистам стартапа во взаимодействии с медиками приходится вносить соответствующие коррективы в работу профильных систем.

В ряде случаев большие языковые модели дают не самые чёткие и правильные медицинские рекомендации по причине использования слишком широкого спектра источников данных для своего обучения. В принципе, если в эту выборку попадали даже советы непрофессионалов на страницах Reddit, то качество подобных рекомендаций с точки зрения профессиональных медиков уже можно поставить под сомнение. Специалисты предлагают формировать материал для обучения медицинских систем более ответственно, а также использовать более локализованные данные в пределах одной страны или даже местности. Это позволит лучше учитывать локальную специфику с точки зрения здравоохранения.

Отдельной проблемой для клиентов больших языковых моделей, пытающихся с их помощью получить советы в области здравоохранения, является низкий приоритет при обработке неграмотно или сумбурно составленных запросов. Если в них содержатся грамматические или орфографические ошибки, система с меньшей вероятностью выдаст корректные рекомендации по сравнению с тем запросом, который с этой точки зрения был составлен безупречно. Нередко системы настроены так, что просто рекомендуют обратиться автору запроса к врачу, если качество самого запроса не соответствует определённым критериям.

Защита персональных данных и врачебной тайны также является серьёзной проблемой при обучении больших языковых моделей, и в этой сфере уже возникают прецеденты судебных претензий. Склонность языковых моделей к так называемым «галлюцинациям» в случае с обработкой медицинской информации представляет реальную опасность для здоровья и жизни людей. В любом случае, эксперты сходятся во мнении, что применение ИИ в сфере здравоохранения несёт больше пользы, чем вреда, просто здесь нужно правильно расставить приоритеты в развитии. Например, нужно направлять ресурсы ИИ на решение проблем в медицине, которым традиционно уделялось меньше внимания, а не пытаться просто ускорить определение диагноза по сравнению с живыми медиками на какие-то минуты или секунды, поскольку в этом нет особого смысла.



Оригинал материала: https://3dnews.ru/1129542