Мусор науки, или Другая сторона криминалистики / Offсянка

⇡#Что за проблемы с ДНК?

Среди двух десятков криминалистических дисциплин ДНК-экспертиза по праву занимает совершенно исключительное место. Она играет здесь роль своеобразного эталона научности – по вполне объяснимым причинам. Этот базовый метод сравнения появился у криминалистов позже всех, на рубеже 1980-90-х годов, когда в науке уже были полностью сформированы каноны и стандарты для экспериментальной проверки гипотез с требующимся уровнем достоверности.

Иначе говоря, криминалисты получили от ученых ДНК-экспертизу не только с заранее обсчитанными вероятностями ошибок, но и с вполне четкими представлениями о том, как и откуда эти ошибки могут появляться. И как их, соответственно, можно было бы минимизировать. До значений, скажем, один шанс на миллиард...

Но вся эта красота, правда, справедлива лишь для условий стерильных лабораторных сравнений. Когда оба сопоставляемых образца взяты у людей по их согласию, то есть в качестве и количестве, достаточном для выстраивания полноценного ДНК-профиля человека. Однако реальная жизнь обычно не похожа на лабораторию, а образцы ДНК для криминалистического анализа чаще всего добываются на месте преступления. И вот тут-то начинаются большие проблемы.

Среди основных проблем специалисты выделяют две: (1) частичный профиль ДНК из-за недостаточного количества образца; и (2) смеси ДНК, которые с необходимой определенностью сложно не только разделить, но и установить, сколько вообще людей тут внесли свой вклад.

Опытные эксперты-криминалисты, конечно же, обычно со всеми подобными задачами успешно справляются. Но как показывают независимые проверки, это именно те моменты, где решающую роль играет уже не наука, а субъективное мнение криминалиста, от которого следователи ждут вполне конкретный результат. А вероятности ошибок здесь составляют уже далеко не 1 на миллиард, а, скажем, один к тридцати. То есть ясно обозначился принципиально иной уровень (не)надежности, который поначалу для ДНК-анализа даже предположить не могли...

Тем не менее аналитические исследования ученых показывают, что подобные ситуации появляются у криминалистов постоянно. Генетическая группа в составе NIST, Национального института стандартов и технологий США, недавно делала обзор 5000 образцов ДНК из 14 криминалистических лабораторий США и установила, что смешивание ДНК – это в действительности весьма частое явление. Выяснилось, что 34 процента образцов были смесями от двух человек, и еще 11 процентов – смеси от трех или четырех человек. В общей сложности – почти половина всего материала.

И при этом весьма непростой задачей оказывается даже определение того, как много людей присутствует на самом деле в конкретном образце смешанной ДНК. В 2004 году заметным событием стала работа исследователей из университета Райта, штат Огайо, где ученые взяли 959 полных профилей ДНК и смоделировали на их основе всевозможные смеси с участием 3-4 человек. Стандартный анализ показал, что в 3 процентах случаев тройные смеси выглядели как смеси ДНК двух человек. А более чем 70 процентов четверных смесей с очень высокой вероятностью можно было ошибочно принять за смеси ДНК двух или трех человек.

Конечно же, столь неожиданные результаты были затем перепроверены и подтверждены в других лабораториях. Ну а вывод в итоге сформулирован вполне определенный:

«Если вы не можете надежно установить даже то, как много людей внесло свой вклад, то просто смехотворно предполагать, будто вы можете разделить и установить по смеси, кем именно были эти вкладчики или что конкретно представляют собой их ДНК-профили»…

⇡#Как это исправлять?

Фактически все результаты проверок, анализирующих положение дел в криминалистике, свидетельствуют, что решение вопроса о заключении или свободе для великого множества людей нередко может зависеть от субъективного мнения экспертов из криминалистической лаборатории. Но так, конечно же, быть не должно. Просто по той причине, что настоящая наука подобным образом не работает.

Известна, правда, одна нехорошая разновидность околонаучной деятельности – в английском языке именуемая Junk Science, что на русский обычно переводят как псевдонаука или лженаука. Однако в конкретном приложении к криминалистике при её нынешнем состоянии наиболее адекватным переводом для выражения выглядит дословный – «мусорная наука».

Но из этой обидной констатации вовсе не следует, впрочем, что ситуация тут неизлечима и никто не знает, как ее исправлять. Совсем наоборот. Рецепты лечения давно известны, вполне четко сформулированы, и, более того, имеется множество криминалистов, которые считают, что для превращения их занятия в науку эти перемены не только желательны, но и необходимы.

Главнейшей бедой «мусорной науки» является очень мощный человеческий фактор. Система правосудия устроена так, что криминалисты практически всегда выступают на стороне обвинения. По этой причине эксперты заранее, как правило, знают не только общий контекст появления улики, но и то, какого рода заключение от них ожидается.

В настоящей науке эксперименты так не проводятся: давно и точно известно, что субъективно смещенное мнение испытателя всегда оказывает эффект на итоговый результат – независимо от того, осознает это эксперт или делает бессознательно. А потому разработаны и применяются эффективные способы для удаления субъективности – под названием «двойной слепой метод». Когда заранее не только нет информации, кого или что проверяют, но и те, кто проверяет, не имеют ни малейшего представления о том, какой ожидается результат.

Применительно конкретно к криминалистике это означает, что если сравнением образцов занимаются люди, то (а) эксперты должны получать образцы для анализа в полностью обезличенном виде и (б) та сторона, которая предоставляет в лабораторию образцы для анализа, не имеет никакой информации, кто именно из экспертов делает сопоставление.

Понятно, что в нынешних условиях, когда криминалистические лаборатории находятся либо под прямым контролем прокуратуры или полиции, либо в сильнейшей экономической зависимости от их заказов, подобные условия работы обеспечить практически невозможно. Именно поэтому все чаще раздаются призывы полностью отделить лаборатории от стороны обвинения, сделав криминалистическую науку нейтральной и независимой.

Другой важный аспект лечения – это максимальная автоматизация всех аналитических процедур, применяемых для сравнения образцов. Понятно, что в условиях машинных алгоритмов гораздо легче обеспечить двойное слепое тестирование. А очень существенный прогресс компьютерной науки, достигнутый за последние годы в делах глубокого обучения программ и распознавания образов, среди прочего позволяет надеяться и на полное удаление человеческой субъективности из криминалистики.

В конечном же итоге – если нейтрализация человеческого фактора правильно сочетается с научным обоснованием методов и аккуратным расчетом ошибок первого и второго рода – у криминалистики в потенциале есть все, чтобы стать подлинной наукой. Ну а если здесь еще и освоят эффективную борьбу с так называемыми ошибками третьего рода, то тогда у криминалистики появляются перспективы занять в науке совершенно исключительное по важности место.

⇡#Что за ошибка третьего рода?

Стандартные процедуры, применяемые в науке для анализа данных, по традиции подразумевают лишь два базовых исхода – гипотеза принята и гипотеза отвергнута. Отчего и базовых ошибок обычно только две – принять гипотезу, хотя данные на самом деле ей не соответствуют, и отвергнуть гипотезу, хотя данные ее поддерживают.

Однако в высшей степени изобретательная деятельность людей – многие из которых склонны к нечестному поведению – постоянно порождает ситуации, когда вполне подлинные данные могут быть оформлены и предъявлены так, чтобы искусственно порождать ложные выводы. На обычном языке из повседневной жизни подобные вещи обычно называют обманом, подлогом и жульничеством. На языке науки это могут именовать более изощренно — например, «рассогласованность параметров» анализируемого объекта.

Дабы не уходить далеко от криминалистики, в качестве наглядной иллюстрации можно привести такую ситуацию. Из музея похищают ценнейшую картину, а, чтобы вывезти её из страны, нанятый преступниками нечистоплотный художник малюет поверх шедевра какую-нибудь собственную картинку – причем даже с личной подписью. Иначе говоря, на таможне предъявлена действительно подлинная работа, однако на самом деле это вопиющий обман и преступление.

Но чтобы выявить его, потребуется анализ по расширенному набору параметров, включая, скажем, возраст холста и наличие скрытых слоев в картине. И если эксперт выявит здесь «рассогласованность в параметрах», то преступников разоблачат. Ну а если поверхностную авторскую мазню так и классифицируют как подлинник, то произойдет криминалистическая «ошибка третьего рода». Причем в жизни искусства таких ошибок известно достаточно.

И хотя пример этот может показаться редким и экзотичным, на самом деле в области защиты информации нечто подобное становится уже вполне обычным делом – особенно вместе с широким распространением компьютеров и автоматизированного контроля доступа. Здесь наверняка все наслышаны о датчиках отпечатков пальцев или сканирования радужки глаза и с системами распознавания лица или голоса, а многие регулярно сталкиваются с ними и лично.

Куда меньше людей знает, что практически для всех из этих систем контроля доступа у умельцев-хакеров имеются весьма эффективные средства преодоления. Причем все они работают, как правило, на основе ошибки третьего рода – через предъявление сенсорам подлинных биометрических данных владельцев, но только похищенных и используемых с целью обмана. Без проблем можно сделать латексные накладки с чужими отпечатками пальцев, предъявлять датчикам заранее сделанные записи голосов, снимки лиц или радужки глаза.

Более того, хотя контроль доступа по ДНК еще никем пока что не применяется, уже давно разработаны и продемонстрированы недорогие методы обмана и для этого. То есть не только для размножения и подсовывания чужой ДНК на проверку, но и для «опрыскивания», так сказать, ею места преступления – дабы эффективно скрыть собственные ДНК-следы преступника.

Понятно, наверное, что не только уменьшать вероятность ошибок подобного рода, но и просто их выявлять – задача в высшей степени нетривиальная. Но и над ней, конечно же, криминалистам приходится работать. Тем более что тут их интересы сильно пересекаются с исследованиями весьма многочисленных и изобретательных «хакеров в законе», работающих над усилением систем биометрического контроля доступа.

Пока что никто не берется прогнозировать, когда и как вероятности ошибок третьего рода удастся систематически минимизировать до нужных пороговых уровней – как это принято в науке с ошибками первого и второго рода. Но вот если сделать это все-таки удалось бы, тогда научная звезда криминалистики могла бы засиять в свою полную силу.

Потому что не только в повседневной жизни, искусстве или бизнесе, но и во множестве областей самой науки, как все, вероятно, наслышаны, ныне уже регулярно выявляются случаи умышленного обмана. Нечестные ученые во множестве плодят липовые «авторские» статьи и липовые эксперименты, защищают липовые диссертации и так далее. Честные ученые, как могут, пытаются с этим бороться и разоблачать лженауку. Однако на систематической основе лечить эту напасть совсем непросто. А вот криминалистическая наука в своем обновленном виде – и с ее отработанными методами для выявления преступлений и обманов – могла бы оказать здесь поистине неоценимую помощь, став не только лекарем, но и, по сути дела, царицей науки...