Американська Асоціація Поліграфологів. Мета-анализ исследований валидных методик полиграфа

Краткий обзор

В 2007 году Американская ассоциация полиграфологов (ААП) приняла Стандарты практики, вступившие в силу 1 января 2012 года, которые требуют от членов ААП использовать утвержденные методики анализа Психофизиологической детекции лжи (ПДЛ), которые соответствуют определенному уровню критерия точности (1).

Этими требованиями установлено, что диагностические исследования, ориентированные на определенные события, которые используются с доказательной целью, должны проводиться в соответствии с методикой, которая имеет возможность дать средний показатель от 0.90 и выше, а недостаточным результатом считается показатель – от 0.20 и ниже. Диагностические исследования, которые проводятся с использованием протокола парного теста должны иметь средний показатель от 0.86 и выше, и недостаточный показатель – от 0.20 и ниже. Исследования, проводимые с целью расследования, должны быть проведены согласно методики, средний показатель критерия точности которого составляет от 0.80 и выше, недостаточный уровень – от 0.20 и ниже. Целью в данном случае является исключение использования неизвестных, непроверенных или экспериментальных технологий в области реального тестирования, когда решение может повлиять на жизнь человека, общественную безопасность, репутацию и национальную безопасность.

На сегодняшний день существует огромное количество форматов составления вопросов для тестов, которые одновременно имеют сходство между собой и кардинально отличаются друг от друга, и для которых существуют альтернативные варианты при выборе метода проведения анализа данных теста. Не в меньшей степени вводит в заблуждение изобилие опубликованных исследований, а также значение и применение этих исследований в технологиях реального тестирования. Совет директоров ААП принял на себя обязательство сформировать данную информацию в форме систематического резюме и мета-анализа изданной научной литературы, в которой описан критерий правильности полиграфологических методик современности. В то же время иногда появляется необходимость в определении очевидных понятий. Одним из таких понятий является признание результата ПДЛ исследования объективным, то есть таковым, который, согласно Стандартам практики ААП (Раздел 3.2.10), должен соответствовать комбинации: 1) формата тестового вопроса, который отвечает действительным принципам выбора цели, конструкции вопроса, и тестовой презентации тестового импульса и 2) утвержденного метода анализа данных теста в таком виде, в котором он представлен в специализированном тестовом формате вопросов. И хотя многие факторы могут повлиять на окончательный результат ПДЛ, эти две категории признаны основными в определении критерия точности ПДЛ исследования. Точность проведения всех тестов зависит от следующих двух действий: получение достаточного объема диагностической информации и правильная интерпретация информации. Двойная цель данного мета-анализа заключалась в том, чтобы дать рекомендации ААП и ее членам в использовании методики ПДЛ, которая бы соответствовала требованиям Стандартов практики, которые вступили в силу 1 января 2012 года, а также дать ответы на вопросы об актуальной информационной базе относительно критерия валидности методики исследований ПДЛ в том виде, в котором они используются на сегодняшний день.

На заседании Совета директоров в марте 2011 года президентом ААП, Нэйтом Гордоном, был назначен специальный комитет по вопросам изучения показателей критерия точности полиграфологических методик. В состав комитета вошли: бывший президент и член совета директоров Майк Гуглер (глава комитета), бывший президент и шеф-редактор, Дон Крапол, избранный, но еще не вступивший в должность президент, Пэм Шоу, член совета директоров, Реймонд Нельсон, и члены ААП Марк Хэндлер и Леонард Биерман.

Комитет также принял во внимание, что в формировании данного списка методик затронуты как финансовые вопросы, так и проблемы собственности. Участники проекта представляют разные области профессиональных знаний и интересов.

Эффективность ААП и надежность профессии полиграфолога подразумевает, что комитет придаст приоритетное значение точности и внедрению результатов исследования перед финансовыми и личными интересами какого-либо разработчика методики ПДЛ тестирования. Базовым подходом комитета стала не ограниченная подача участниками вспомогательных данных и информации на рассмотрение. Это не означает, что любая поданная информация была автоматически включена или утверждена, но это означает, что все заявления были рассмотрены.

Процесс работы комитета начался с обсуждения преимуществ и сильных сторон лабораторного и реального исследований. Реальные исследования важны для разработки полиграфологических методик, так как эта область имеет преимущество экологической валидности (3) и таким образом повышает уровень обобщаемости. Однако, обобщаемость реальных исследований уступает в некоторой мере в процессе отбора, который обязательно зависит от наличия часто-неточных данных подтверждения. На сегодняшний день данные подтверждения выборочны, они не случайные, и не выполняют представительскую функцию всех данных, а утвержденные случаи чаще, чем не утвержденные, имеют верный результат ПДЛ. Таким образом, результаты реальных исследований могут преувеличивать значение решения точности ПДЛ в определенной мере. В то же время реальные исследования имеют большое значение в изучении соотношений, но они предоставляют несовершенные данные относительно критерия валидности.

Лабораторные исследования также важны в изучении работы полиграфа, так как они позволяют легче контролировать процесс и снизить уровень погрешностей. Использование экспериментальных и псевдо-экспериментальных форматов исследований, наряду с произвольными примерами и произвольными значениями, могут повысить уровень обобщенности и повторность результатов исследований. Лабораторные исследования являются основными при изучении вопросов случайности и конструктивной валидности, благодаря возможности контролировать уровень переменных. Однако обобщенность лабораторных исследований осложняется тем, что они не представляют полного диапазона переменных, которые, по общему мнению, влияют на результат при реальном процессе тестирования. Но в то же время, принято полагать, что лабораторные исследования имеют экологическую валидность, которая в определенной мере ниже, чем при реальных исследованиях.

Комитет занял такую позицию, согласно которой как реальные, так и лабораторные исследования имеют свои преимущества и недостатки, и ни один из представленных видов исследований отдельно не даст достаточно возможности изучить все проблемные зоны в работе детектора лжи. Оба типа исследований являются крайне важными в изучении и развитии работы полиграфологов. Разница в показателях критерия точности реальных и лабораторных исследований была статистически признана несущественной Национальным Исследовательским советом США согласно данных отчета 2002 года в отношении полиграфологии. С целью оценки сегодняшнего состояния валидности существующих методик работы полиграфологов, комитет рассматривает лабораторные и реальные исследования на одинаковом уровне.

Комитет составил перечень исследований, которые удовлетворили качественные и количественные требования для составления объективной оценки, и в отношении которых было издано более двух публикаций, которые могут подтвердить соответствие методики уровню валидности. Комитет сформулировал рекомендации, на основании которых методики признаются соответствующими требованиям инструкций ААП 2012 года, в области критериев точности. После этого комитет провел мета-анализ, который установил необходимый минимум в противовес стандартам ААП 2012 года в отношении доказательных, парных и следственных тестирований. К тому же, статистические тесты были сформированы с целью изучения целостности и возможности обнаружения несоответствий и обособленности результатов.

Для того, чтобы исследование было включено в Резюме, необходимо, чтобы и мета-анализы исследования были опубликованы в издании Полиграф или же другом профессиональном издании (4).

Исследования представляются на рассмотрение в случае, если они были опубликованы любым учебным заведением, присуждающим ученые степени, которое аккредитовано уполномоченным органом Министерства просвещения США или же признанным зарубежным заведением. Также публикации исследований, профинансированных правительственными организациями были включены в список рассматриваемых исследований. Отредактированные академические тексты, включая индивидуальные разделы, также были приняты на рассмотрение. Однако, из списка были исключены исследования, которые были представлены в собственных книгах авторов исследования. Среди дополнительных качественных требований в частности были следующие: в избранных исследованиях должны были быть использованы утвержденные ПДЛ методики, для которых существуют опубликованные стандарты относительно структуры теста, последовательности вопросов, и управления процессом. В исследованиях также должна использоваться утвержденная методика проведения тестового анализа данных, которая включает описание характеристик, численное преобразование (распределение результата), правила принятия решения и нормативные данные или граничные баллы. К тому же, в исследованиях должны быть использованы инструменты и компонентные датчики, отображающие общую экспериментальную практику. Отобранные исследования должны были использовать в работе разнообразные подтверждающие критерии, среди которых убеждения испытуемого, достоверные данные судебной экспертизы или обоснованное доказательство того, что преступление не было совершено. Результаты исследования, основанные на примерах, допускающих экспериментальные манипуляции (например, переутомляемость, интоксикация, использование системных противодействий) не были приняты на рассмотрение (6).

В требования к количественной информации были внесены данные некоторых форм статистики надежности каждой техники как доказательство обобщенности результатов. Некоторые типы статистических измерений надежности теста ПДЛ были опубликованы и все они были вынесены на рассмотрение. Комитет также оценивал надежность, обобщенность и представление выборочного распределения многопараметрических результатов дисперсионного анализа, используя показатели лжи и правды. Предполагалось, что множество примеров, которые были продемонстрированы одинаковым базовым слоем населения, в соответствии с определенной методикой ПДЛ, и результаты которых подсчитывались на основе одного и того же метода TDA, будут дублировать друг друга в распределении выборки результатов. Также предполагалось, что большое количество дублирующихся результатов станут примером и будут носить обобщенный характер, в отличие от результатов исследования, носящего одноразовый характер. В дополнение к объему предоставленной информации, как минимум четыре статистических показателя потребовали проведения мета-анализа в их отношении: чувствительность теста и специфика, и недостаточные уровни показателей в случаях вины и невиновности.

Для определения уровня достоверности решения, комитету было важно установить то, что исследования были приняты или утверждены на основании преимуществ проведенных экспериментов. По этой причине доступ к опубликованным материалам и первичным данным был приоритетом работы, а перечень утвержденных техник был составлен в соответствии со систематическим резюме опубликованных исследований. В дополнение к повторному анализу данных, исследования были включены в список на рассмотрение после того, как был проведен расчет полного размерного профиля критерия точности.

По завершении изучения литературы, перечень отобранных методик был направлен директорам или представителям всех учебных заведений, специализирующихся в области подготовки полиграфологов, аккредитованных ААП. Директорам или их представителям было предложено предоставить любые опубликованные исследования или ссылки на опубликованные исследования методик, которые на сегодняшний день еще не были утверждены. Было предложено также добавить в список еще одну дополнительную технику (8).

В дальнейшем сокращенный перечень был отправлен директорам или представителям учебных учреждений и другим исследователям, работающим в отрасли разработок и валидации методик ПДЛ. В этот перечень входили только те методики, в отношении которых были опубликованы исследования или же проведены повторные исследования, наряду с требованием предоставить любые публикации или ссылки на методики, которые не были включены в разработку на данный момент. Было предложено также включить в этот список еще два дополнительных исследования (9).

После представления первичных результатов Совету директоров ААП и презентации предварительной версии данного Резюме членам ААП, был представлен один дополнительный исследовательский отчет в поддержку работы IZT (10).

Комитет поддерживал связь с разработчиками ПДЛ методик, у которых было недостаточно опубликованного материала для включение в список для проведения мета-анализа, и предоставлял помощь тем, кому она была необходима. Два исследования были проведены, приняты для публикации, и ожидают выхода в печать, это касается техники Backster You-Phase. Эта техника была включена в перечень исследований для проведения мета-анализа. Также были завершены исследования Air Force Modified General Question Test (AFMGQT), Federal You-Phase Technique, Directed Lie Screening Test (DLST), которые также были приняты для публикации. Результатом таких решений стало то, что полный спектр методик общего использования был включен в мета-анализ.

Тридцать восемь исследований были признаны соответствующими качественным и количественным требованиям для включения в перечень для проведения мета-анализа. Эти исследования включали 32 разных модели, и описания результатов 45 разнообразных экспериментов и исследований. В исследованиях приняли участие 295 испытуемых, которые предоставили 11 737 результатов проведенных 3 723 экспериментов, среди которых 6 109 результатов с результатом 2 015 случаев подтверждения ложных данных, 5 628 результатов – 1 708 подтвержденных правдивых данных. Некоторые эксперименты проводились с несколькими испытуемыми и с использованием разных ПДЛ методик.

В Таблице 1, в конце данного резюме представлены результаты, полученные при использовании тех методик, которые опубликованы и получили подтверждение критерия валидности, что соответствует требованиям Стандарта практики ААП. Пять тестов ПДЛ и комбинированных анализов соответствуют требованиям ААП 2012 года на предмет доказательного тестирования, пять – на предмет двойного (парного) теста (11) и четыре – на предмет следственных исследований.

Две ПДЛ техники продемонстрировали показатели точности, которые резко отличаются от остальных результатов и являются несовместимыми с результатами других методик. Это Integrated Zone Comparison Technique (IZCT) и Matte Quadri-Track Zone Comparison Technique (MQTZCT). И хотя не исключена возможность того, что эти две техники превосходят остальные, проведенные исследования показали, что в них присутствует больше нерешенных методологических вопросов, чем в иных методиках данного мета-анализа. К тому же при выборочном распределении комитет установил, что обе эти методики поддерживались исследованиями, авторами которых стали разработчики и собственники, и разработчики/собственники которых выступали одновременно научным руководителем и участником исследования. С научной точки зрения даже хорошо спланированное исследование, проведенное приверженцами испытуемого метода, которые непосредственно заинтересованы в результате, и которые выступают участниками и авторами исследования, не дает объективной оценки. Эти методики также включены в данный документ, так как они соответствуют основным требованиям Стандартов практики ААП. Комитет сообщает, что причиной этому является тот факт, что потенциальное воздействие эффективности работы экзаменатора, которое может стать результатом использования обособленных результатов, может стать расчётливость экзаменатора в применении дополнительных мер предосторожности до принятия данных исследований, что продемонстрирует необычные результаты до независимого подтверждения и проведения широкого анализа.

Объемная траектория критерия точности рассчитана для каждой методики ПДЛ, включая невзвешенное среднее значение пропорции правильно принятых решений в определении лжи и правды, исключая неокончательные результаты наряду со средним значением пропорции неокончательных результатов. Результаты исследований, которые соответствовали требованиям ААП 2012 года в отношении доказательственного тестирования, парного тестирования, следственного тестирования и других методик ПДЛ, которые были включены в перечень мета-анализа, были объединены между собой. Исключая обособленные результаты, методики сравнительных вопросов ориентированы на тестирование событийной (специального назначения) диагностики, в которой критерий отклонения в составных вопросах по существу признается зависимым (14), дающий показатель точности совокупного решения на уровне 0.890 (0.829- 0.951), с показателем комбинированного недостаточного показателя на уровне 0.110 (0.047 – 0.173). Техника вопросов сравнения ПДЛ независимо от критерия отклонения большинства соответствующих вопросов, дают показатель точности совокупного решения на уровне 0.850 (0.773 – 0.926) с показателем комбинированного недостаточного показателя на уровне 0.128 (0.068 – 0.187). На сегодняшний день, данные являются существенной поддержкой в пользу полиграфа как высоко точного метода, но недостаточной поддержкой в противовес утверждения, что ПДЛ тестирование может дать точный или почти точный результат.

Исключая обособленные результаты, многопараметровый анализ показал, что в решении о точности любой ПДЛ методики, которая соответствует требованиям Стандартов практики ААП 2012 года, нет существенной однонаправленной разницы. Также не было обнаружено однонаправленной разницы в ПДЛ методиках на разных уровнях валидации, определенной Стандартами практики ААП, или же ПДЛ методиках, интерпретированными согласно правилам принятия решений на основании присвоения независимости при сравнении с ПДЛ методиками, интерпретированными согласно правилам принятия решений на основании присвоения зависимости. Это указывает на то, что категорические разграничения достаточно условны, не определены путем проведения опытов и научно нецелесообразны. Эти данные не подходят для поддержки определения, что одна ПДЛ методика преобладает над другой, и вместо этого предполагает, что разница форматов вопросов ПДЛ может быть менее важна, чем ранее предполагалось. Разницу ПЛД методик можно свести к предположениям и процедурной разнице в отношении TDA методик, которые предназначены для изучения независимых и зависимых вопросов следственного характера. Это должно стать предметом дальнейших исследований.

На сегодняшний день результаты исследований подтверждают тот факт, что ПДЛ тестирование может предоставить высокий показатель как чувствительности теста ко лжи, так и к правде на уровне показателей, которые существенно выше случайных данных, при проведении и интерпретации оценки, критерия независимости и зависимости среди вопросов тестирования. Свидетельства таковы, что все ПДЛ методики, которые включены в мета-анализ, показывают чувствительность теста на уровне, который определенно выше случайных показателей. Однако, сегодня свидетельства являются недостаточными для поддержки мнения, что каждая методика ПДЛ может обеспечить как чувствительность текста ко лжи, так и к правде в показателях, которые значительно выше случайных показателей при проведении и интерпретации, принимая критерий независимости и зависимости в тестовых вопросах. Согласно данным материалов, все ПДЛ методики, включенные в мета-анализ, показывают чувствительность теста на уровне, который значительно превышает уровень случайности. Однако, данные материалы не доказывают тот факт, что каждая ПДЛ методика может продемонстрировать специфику в определении правды на уровне, существенно превышающем уровень случайности. Более детальная информация представлена в полном отчете.

Если бы настоящие результаты рассматривались как преувеличение точности ПДЛ, среди основных причин такой переоценки стали бы неточности пробных методик тестирования. Одним из таких факторов является излишнее доверие к данным, подтвержденным тестируемыми, что может дать почву для систематического исключения лже-позитивных и лже-негативных результатов, которые не смогут быть объективно подтверждены. Другим вопросом могли бы стать публикации с уклоном в сторону картотечного подхода, когда менее благоприятные, выгодные результаты не предоставлены в публикациях и поэтому не могут быть включены в мета-анализ или системный обзор. Другой же потенциальной причиной преувеличения точности мог бы стать недостаток независимости между разработчиками техник, основными исследователями и тестируемыми участниками в некоторых исследованиях. Если бы сегодняшние результаты рассматривались как таковые, имеющие заниженный уровень точности ПДЛ, относительно основной причины велись бы споры, является ли ею неточность в экологической валидности экспериментальной и исследовательской методологии исследований, которые включены в разработку. Настоящие результаты предоставлены только лишь с целью обзора доступных публикаций, которые соответствуют требованиям для участия в мета-анализе. Ограничения мета-анализа представлены в полной версии отчета.

В завершение, ни в коей мере результаты данного мета-анализа не будут позиционироваться как обязательные к использованию или же в качестве стандарта. Хотя широкий перечень утвержденных методик в области полиграфологии мог бы рассматриваться как форма утверждения ААП, на самом деле роль этого мета-анализа заключается в том, чтобы предоставить исчерпывающее резюме существующей литературы о ПДЛ методиках. Хотя вопросы могут быть фиксированными в определенный момент, работа в области анализа в научных материалах продолжается. Комитет предлагает вопросы и обсуждение тестовой валидности как предмет научной и настоящей политики. Поэтому данные вопросы получают самые конструктивные ответы именно в научных материалах.

Этот мета-анализ должен быть рассмотрен исключительно как информационный источник, и ни в коей мере не должен быть воспринят как перечень ПДЛ методик в последней инстанции в области валидизации ПДЛ-тестов. И хотя цель была достигнута – был создан понятный и исчерпывающий перечень валидных методик, остается высокий уровень вероятности существования других методик, которые не были включены в мета-анализ. В официальной литературе представлены свидетельства валидности ПДЛ методик, которые не были включены в мета-анализ. Конечно, мета-анализ основанный на выборе разнообразных исследований или разнообразных критериев результативности, может продемонстрировать абсолютно разные результаты. Ни данный отчет, ни полная его версия ни в коей мере не должны быть интерпретированы как предостерегающие от использования других ПДЛ методик, уровень критерия точности которых подтвержден с научной точки зрения. Информация, представленная в данном документе предоставлена Совету Директоров ААП для получения профессиональной точки зрения относительно сильных сторон ПДЛ методик, которые объективно существуют на сегодняшний день. Данная информация представлена исключительно с целью облегчить трудности, с которыми сталкиваются профессионалы ПДЛ методик, а также помочь в принятии обоснованных решений при выборе ПДЛ методик для использования в тестировании. Данная информация также может быть полезна для администраторов программ, политиков и судов в принятии решений, основанных на полученных доказательствах, об информационной ценности результатов ПДЛ тестирования в общем.

Таблица 1. Среднее {95% доверительный интервал} для правильных выводов (CD) и неопределенных результатов (INC) валидизированных методов тестирования на полиграфе