Этапы проведения экспертизы, их содержание

2. Этапы проведения экспертизы, их содержание

Общая схема экспертных опросов включает в себя следующие этапы:

- формирование целей и вопросов экспертизы;

- формирование правил проведения опроса или характера взаимоотношения экспертов;

- формирование группы экспертов;

- выбор способа оценки степени компетентности экспертов;

- формирование правил обработки мнений экспертов;

- вычисление экспертных обобщенных оценок и определение степени согласованности экспертов;

Рассмотрим некоторые из этих этапов подробней.

Рис.2. Этапы метода «Дельфи»

 

Большое значение имеет четкое определение целей (цели) экспертизы. Наличие четко сформулированных задач и ясно понятых потребностей является обязательным условием обеспечения надежного результата экспертизы.

Выбор целей и характер процедуры экспертизы в значительной степени определяется существом проблемы, предполагаемыми конечными результатами и возможными способами их представления. Уровень принятия решений (государственный, отраслевой, предприятия) определяет широту диапазона, количество альтернатив и степень формализации процедуры. Кроме того, на выбор целей и процедуры экспертизы влияют надежность и полнота имеющихся данных, а также вид требуемой информации. поэтому при формулировании целей экспертизы прежде всего необходимо четко установить признак, по которому надлежит проводить оценку, а также условия использования экспертных оценок. если целей несколько, то оценки по разным шкалам нужно постараться свести к единой шкале, например, за счет установления цели более высокого уровня.

Структурно-организационный набор вопросов в анкете должен быть логически связан с центральной задачей экспертизы. Хотя форма и содержание вопросов определяются спецификой объекта и прогнозирования, можно установить общие требования к ним:

- вопросы должны быть сформулированы в общепринятых терминах, без смысловой неопределенности;

- все вопросы должны логически соответствовать

объекта;

- вопросы должны обеспечивать единственное толкование По форме вопросы могут быть открытыми и закрытыми, прямыми и косвенными.

Существует три основные группы вопросов используемых при проведении коллективной экспертной оценки.

1. Вопросы, предполагающие ответы в виде количественной оценки: о времени, вероятности свершения события, об оценке относительного влияния факторов. При определении шкалы значений количественных характеристик целесообразно пользоваться неравномерной шкалой. Выбор конкретного масштаба неравномерности определяется характером зависимости ошибки прогноза от периода упреждения.

2. Вопросы, требующие содержательного ответа в свернутой форме: дизъюнктивные, конъюнктивные, импликативные.

3. Вопросы, требующие содержательного ответа в развернутой форме: в виде перечня сведений об объекте и аргументов, подтверждающих или опровергающих тезис, содержащийся в вопросе. Эти вопросы формируются в два этапа. На первом этапе экспертам предлагается сформулировать наиболее перспективные и наименее разработанные проблемы. На втором из названных проблем выбираются вопросы, принципиально разрешимые и имеющие непосредственное отношение к объекту исследования.

При формировании группы экспертов основным является определение ее качественного и количественного составов. Отбор экспертов начинается с определения вопросов, которые охватывают решение данной проблемы, а затем составляется список компетентных лиц, способных решить ее.

Для получения качественного результата экспертизы к, ее участникам предъявляется ряд требований, основными из которых являются:

- высокий уровень общей эрудиции;

- глубокие специальные знания в оцениваемой области;

- способность к адекватному отображению тенденции развития исследуемого объекта;

- наличие психологической установки на будущее; -чисто научный интерес к поставленному вопросу при отсутствии практической заинтересованности в этой области;

- наличие производственного и (или) исследовательского опыта рассматриваемой области.

Для того чтобы подобрать качественную группу экспертов, необходимо также оценить их компетентность.

Существуют несколько методов оценки компетентности экспертов:

-   оценка компетентности организаторами с учетом участия эксперта в различных экспертизах;

-   тестирование;

- метод самооценки;

- метод взаимной оценки компетентности экспертами.

Одним из методов оценки компетентности экспертов является их тестирование. Для этого разрабатывается специальный тест-анкета, отвечая на вопросы которого эксперт должен показать знание объекта исследования, аналитические способности. Следует отметить, что разработка тест-анкеты — сложная и трудоемкая процедура, поэтому этот метод оценки компетентности оправдан только в случаях привлечения для экспертизы большого (>30) числа экспертов.

В некоторых случаях можно предложить экспертам провести самооценку компетентности по некоторой шкале, например от 2 до 5. При самооценке эксперт определяет степень своей осведомленности в исследуемом вопросе также на основании анкеты. Обработка данных дает возможность получить количественную оценку компетентности потенциального эксперта по следующей формуле:

Где Vj — вес градации в баллах, подчеркнутой экспертом по j-той характеристике в анкете;

Vj max – максимальный вес в баллах (предел шкалы) j-той характеристики;

n — общее количество характеристик компетентности в

λ — вес ячейки, подчеркнутой экспертом в шкале самой! в баллах;

Р — предел шкалы самооценки эксперта в баллах.

В тех случаях, когда эксперты знакомы с деятельностью и знают уровень компетентности друг друга, можно использовать метод взаимной оценки компетентности. Для этого каждого і – эксперта (і =1,2,,m) просят оценить компетентность других экспертов l =1,2,..., m (l ≠ i) по некоторой шкале, например, от 1 дo 5. Взаимные оценки компетентности представляются в виде квадратной матрицы ||b_li||, столбцом i которой являются оценки, данные i-тым экспертом всем другим экспертам Диагональные элементы в ||b_li||, принимаются одинаковыми для всех и равными любому неотрицательному числу (обычно нулю). Вектор коэффициентов компетентности экспертов К={К¹\К²,....,К^m} определяется решением векторного уравнения

где Кi, — максимальное действительное собственное число матрицы ||b_li||. То есть решение является собственным вектором матрицы ||b_li||.

По данным взаимной оценки компетентности экспертов можно выявить конфронтацию между экспертами, коалиции экспертов. Конфронтация обязательно исказит действительную компетентность экспертов, и в этих случаях метод взаимной оцени компетентности использовать нецелесообразно.

Перечисленные методы оценки компетентности являются «внешними» по отношению к проводимой экспертизе, т. е. результат оценки компетентности К={К¹\К²,....,К^m} являются входной информацией для обработки результатов экспертного опроса в данной экспертизе.

Установить оптимальную численность группы экспертов довольно трудно. Однако разработан ряд формальных подходов к решению этой проблемы. Один из них основан на установлении максимальной и минимальной границ численности групп исходя и двух условий: высокой средней компетентности групп экспертов и стабилизации средней оценки прогнозируемой характеристике.

Первое условие используется для определения максимальной численности группы экспертов n_max:

где Ki — компетентность i-того эксперта;

С — константа;

K_max — максимально возможная компетентность по используемой шкале.

Это условие предполагает, что если имеется группа экспертов, компетентность которых максимальна, то среднее значение их оценок можно считать истинным. Для определения константы используется практика голосования, т. е. группа считается избранной, если за нее подано 2/3 голосов присутствующих. Исходя из этого, принимаем, что С =2/3. Таким образом, максимальная численность экспертной группы устанавливается на основании неравенства:

Далее определяется минимальная численность экспертной группы n_min посредством использования условия стабилизации средней оценки прогнозируемой характеристики, которое формулируется так: включение или исключение эксперта из группы незначительно влияет на среднюю оценку прогнозируемой величины:

где B— средняя оценка прогнозируемой величины (в баллах), данная экспертной группой;

B’ — средняя оценка (тоже в баллах), данная экспертной группой, из которой исключен (или в которую включен) один эксперт;

Bmax— максимально возможная оценка прогнозируемой величины в принятой балльной шкале оценок;

E— заданная средняя ошибка вследствие включения (исключения) эксперта.

Величина средней оценки наиболее чувствительна к оценке эксперта, обладающего наибольшей компетентностью и поставившего наибольший балл при В<В_max и минимальный при В >= Bmax/2. Поэтому для проверки выполнения условия предлагается исключить из группы одного эксперта.

Таким образом, по представленным формулам можно получить оценочные значения максимального и минимального числа экспертов в группе. Окончательная численность экспертной группы формируется на основании последовательного исключен малокомпетентных экспертов с учетом условия (К_мах-К)< η, η — заданная граница допустимого отклонения компетентное і-того эксперта от максимальной. Одновременно в группу мог включаться новые эксперты. Численность группы устанавливаться в пределах n_MIN<n<n_MAX .

Кроме рассмотренных процедур, в методах коллективных: экспертных оценок используется подробный статистический анализ экспертных заключений, в результате которого определяются качественные характеристики группы экспертов. В соответствии этими характеристиками в процессе проведения экспертизы качественный и количественный составы экспертной группы корректироваться.

При статистической обработке результатов экспертных нок в виде количественных анкетных данных определяются статистические оценки характеристик и их доверительные границы статистические оценки согласованности мнений экспертов пример, среднее значение прогнозируемой величины определяются по формуле:

где Bi — значение прогнозируемой величины, данное i-тым:

n — число экспертов в группе.

Кроме того, определяется дисперсия

и приближенное значение доверительного интервала

где t — параметр, определяемый по таблицам Стьюдента, данного уровня доверительной вероятности и числа степеней свободы K=n-2.

Доверительные границы для значения прогнозируемой величины вычисляются по формулам:

A_B =B+J — для верхней границы,

A_H =B-J — для нижней.

Коэффициент вариации оценок, данных экспертами

где  – среднеквадратичное отклонение.

При обработке результатов экспертных оценок по относительной важности объектов (например, при определении рейтинга коммерческих банков) среднее значение, дисперсия и коэффициент вариации вычисляются для каждого оцениваемого объекта. Кроме того, вычисляется коэффициент конкордации, показывающий степень согласованности мнений экспертов по важности каждого из оцениваемых объектов, и коэффициенты парной ранговой корреляции, определяющие степень согласованности мнений экспертов.

Для этого производится ранжирование оценок важности, данных экспертами. Каждая оценка, данная i-тым экспертом, выражается числом натурального ряда таким образом, что 1 присваивается максимальной оценке, а n — минимальной. Если все оценки различны, то соответствующие числа натурального ряда есть ранги оценок i-того эксперта. Если среди оценок, данных i-тым экспертом, появляются одинаковые, то этим оценкам назначается одинаковый ранг, равный среднему арифметическому соответствующих чисел натурального ряда.

Сумма рангов, назначенных экспертами объекту j=1,2,... m (m — число исследуемых объектов), определяется по формуле:

где Rij ранг оценки, данной i-тым экспертом j-тому объекту.

Среднее значение суммы рангов оценок по всем объектам экспертизы определяется по формуле

Отклонение суммы рангов, полученных i-тым объектом, от среднего значения рангов равно d_j=S_j-S . Тогда коэффициент конкордации, вычисленный по совокупности всех объектов, составит: суммы рангов равно d_j=S_j-S. Тогда коэффициент конкордации, вычисленный по совокупности всех объектов, составит:

где n— количество групп равных рангов;

Ti — количество равных рангов в группе.

Величина рассчитывается при наличии одинаковых рангов.

Коэффициент конкордации изменяется в пределах Wє[0; 1].W=1- означает полную согласованность мнений экспертов, W=0 — полную несогласованность. Низкое значение этого коэффициента может быть получено как при отсутствии общности мнений, так и из-за противоположных мнений между подгруппами экспертов, хота внутри подгруппы согласованность может быть высокой.

Для выявления степени согласованности мнений экспертов пользуется коэффициент парной ранговой корреляции

где Ψj=|R_i-R_j+1|, т. е. разность (по модулю) величин рангов оценок i-того направления, назначенных i-тым и (I+1)-тым экспертами. ;

Коэффициент парной ранговой корреляции может принимать значения от + 1 до -1. Значение р = 1 соответствует полной согласованности мнений двух экспертов, р =-1 показывает, мнения противоположны.

Для определения уровня значимости коэффициентов W и P_i,j+1 можно использовать критерий

соответствующим таблицам определить уровень значимости полученных результатов. Считается, что групповые оценки экспертов достоверны, если между личными оценками экспертов наблюдается большая согласованность.

Кроме того, количественно степень согласованности мнений экспертов можно определить коэффициентом согласия Е, являвшимся разновидностью коэффициента множественной корреляции. Коэффициент согласия вычисляется по формуле:

где m — число экспертов;

Rij — коэффициент корреляции оценок i и l экспертов.

После вычисления коэффициента согласия он проверяется на значимость, т. е. проверяется гипотеза о случайности получения данного значения Е. Эту гипотезу можно интерпретировать или как независимость оценок экспертов, или как случайность проставления экспертами своих оценок. Проверяется она по процедуре статистической проверки гипотез.

Значение коэффициента согласия и результат его проверки на значимость используются для анализа достоверности групповых оценок при небольшом (m<=15) числе экспертов. При большом количестве экспертов коэффициент согласия обычно уменьшается, и в то же время он оказывается значимым, потому что при их большом числе с большей вероятностью найдется несколько экспертов, мнения которых согласуются, а это приведет к неприятию гипотезы о независимости их мнений. Поэтому при большом числе экспертов для оценки достоверности, наряду с согласованностью, следует использовать понятие устойчивости групповой оценки.

Устойчивость групповых оценок объектов определяется как независимость групповых оценок от состава экспертной группы, т. е. групповая оценка объекта; устойчива, если она не изменяется при исключении некоторого числа экспертов из экспертной группы.

В случаях, когда групповые оценки объекта оказались недостаточными (т. е. коэффициент согласия оказался незначительным или групповые оценки неустойчивы), целесообразно выделить из экспертов некоторую группу, оценки объектов которых, и групповые оценки в рамках группы будут достоверными. В некоторых случаях удается выделить не одну такую группу, а несколько, в каждой из которых оценки экспертов близки. Обычно это случается при проведении экспертиз по сложному вопросу, на решение которого существует несколько точек зрения. Тогда каждая сформированная группа экспертов отражает одну точку зрения, отличную от других.

Следует отметить, что задача группирования экспертов относится к комбинаторным задачам, так что разработать оптимальный алгоритм группирования довольно сложно. Поэтому используются последовательные алгоритмы, суть которых в следующем. Находится пара экспертов, мнения которых наиболее сходны (для этого используется матрица корреляции эксперт — эксперт). Затем из оставшихся m—2 экспертов выделяется эксперт, мнение которого ближе всего к группе из трех экспертов и т. д. На каждом шаге вычисляется коэффициент согласия сформированной группы экспертов и проверяется его значимость. Увеличение группы ведется до тех пор, пока после присоединения к ней нового эксперта групповые оценки объектов остаются достоверны по коэффициенту согласия. После формирования одной группы следует повторить процедуру с оставшимися экспертами, чтобы попытаться сформировать из них еще одну группу.