Навигация
Оценка согласованности мнений экспертов
75121
знак
0
таблиц
0
изображений
3.3. Оценка согласованности мнений экспертов
При ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.
В настоящее время известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации.
Дисперсионный коэффициент конкордации. Рассмотрим матрицу результатов ранжировки n объектов группой из m экспертов (j=1,…,m; i=1,…,n), где - ранг, присваиваемый j-м экспертом i-му объекту. Составим суммы рангов по каждому столбцу. В результате получим вектор с компонентами [12]
(i=1,2,…,n). (5.14)
Величины рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой [12]:
, (5.15)
где - оценка математического ожидания, равная
(5.16)
Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (5.15) к максимальному значению этой оценки [12]
. (5.17)
Коэффициент конкордации изменяется от нуля до единицы, поскольку .
Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка математического ожидания зависит только от числа объектов и количества экспертов. Подставляя в (5.16) значение из (5.14), получаем [12]
(5.18)
Рассмотрим вначале суммированные по i при фиксированном j. Это есть сумма рангов для j-го эксперта. Поскольку эксперт использует для ранжировки натуральные числа от 1 до n, то, как известно, сумма натуральных чисел от 1 до n равна [12]
(5.19)
Подставляя (5.19) в (5.18), получаем [12]
(5.20)
Таким образом, среднее значение зависит только от числа экспертов m и числа объектов n.
Для вычисления максимального значения оценки дисперсии подставим в (5.15) значение из (5.14) и возведем в квадрат двучлен в круглой скобке. В результате получаем [12]
(5.21)
Учитывая, что из (5.18) следует
получаем [12]
(5.22)
Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скобках. Величина этого члена существенно зависит от расположения рангов - натуральных чисел в каждой строке i. Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицы будут расположены одинаковые числа. Следовательно, суммирование рангов в каждой i-u строке дает m-кратное повторение i-ro числа [12]:
Возводя в квадрат и суммируя по i, получаем значение первого члена в (5.22) [12]:
(5.23)
Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая n=m все эксперты присваивают разные ранги одному объекту. Тогда [12]
Сравнивая это выражение с при m=n, убеждаемся, что первый член в квадратных скобках формулы (9) равен второму члену и, следовательно, оценка дисперсии равна нулю.
Таким образом, случай полного совпадения ранжировок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в (5.22) и выполняя преобразования, получаем [12]
(5.24)
Введем обозначение [12]
(5.25)
Используя (5.25), запишем оценку дисперсии (5.15) в виде [12]
(5.26)
Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (n—1), запишем окончательное выражение для коэффициента конкордации [12]
(5.27)
Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.
Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе формулы (5.17) становится меньше, чем при отсутствии связанных рангов. Можно показать, что при наличии связанных рангов коэффициент конкордации вычисляется по формуле [12]:
(5.28)
где
(5.29)
В формуле (5.28) - показатель связанных рангов в j-й ранжировке, - число групп равных рангов в j-й ранжировке, - число равных рангов в k-й группе связанных рангов при ранжировке j-м экспертом. Если совпадающих рангов нет, то =0, =0 и, следовательно, =0. В этом случае формула (5.28) совпадает с формулой (5.27).
Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т. е. совершенно нет совпадения.
Коэффициент конкордации, вычисляемый по формуле (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа экспертов m и количества объектов n. Распределение частот для W при и вычислено в [52]. Для больших значений m и n можно использовать известные статистики. При числе объектов n>7 оценка значимости коэффициента конкордации может быть произведена по критерию . Величина Wm(n—1) имеет распределение с v=n –1 степенями свободы.
При наличии связанных рангов распределение с v=n—1 степенями свободы имеет величина [12]:
(5.30)
Энтропийный коэффициент конкордации определяется формулой (коэффициент согласия) [12]:
(5.31)
где Н – энтропия, вычисляемая по формуле
(5.32)
а - максимальное значение энтропии. В формуле для энтропии - оценки вероятностей j-го ранга, присваиваемого i-му объекту. Эти оценки вероятностей вычисляются в виде отношения количества экспертов , приписавших объекту ранг j к общему числу экспертов [12].
(5.33)
Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда . Тогда [12]
(5.34)
Подставляя это соотношение в формулу (5.32), получаем [12]
(5.35)
Коэффициент согласия изменяется от нуля до единицы. При расположение объектов по рангам равновероятно, поскольку в этом случае . Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупности показателей, либо полной несогласованностью мнений экспертов. При , что достигается при нулевой энтропии (H=0), все эксперты дают одинаковую ранжировку. Действительно, в этом случае для каждого фиксированного объекта все эксперты присваивают ему один и тот же ранг j, следовательно, , a Поэтому и H=0.
Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противоположные группы. Объем вычислений для энтропийного коэффициента конкордации несколько больше, чем для дисперсионного коэффициента конкордации.
Похожие работы
... элемента на качество принимаемых управленческих решений - одна из главных задач оптимизации процессов принятия решений в управлении общественным производством. Одним из условий преодоления субъективизма при подготовке управленческих решений являются методы исследования операций, методы экспертных оценок. Процедура выработки управленческих решений, являясь сложным логико-мыслительным процессом, ...
... . В ней прежде всего однозначно формулируется подлежащее прогнозу явление, предусматривается в виде гипотиз возможные варианты его исхода. Весьма часто применяется в прикладной социологии и такой метод экспертного прогноза, как “дельфинийская техника”[1]. Он заключается в выработке согласованных мнений путём многократного повторения опроса одних и тех же экспертов. После первого опроса и ...
... осуществляется по следующей формуле: , где , - количество повторений каждого ранга j – м студентом. Практическая работа Здесь осуществляется практическая реализация метода экспертных оценок в анализе качества обучающего процесса в ИП "Стратегия". Этот раздел содержит расчеты показателей, сравнения результирующих данных, факторы, влияющие на показатели. Для получения всех этих данных ...
... Поэтому целесообразно разработать предназначенный для поддержки проведения экспертных исследований АРМ "МАТЭК" ("Математика в экспертизе") на базе РС фирмы "Apple" с использованием современных достижений в области теории и практики экспертных оценок, в области прикладной математической статистики, прежде всего статистики объектов нечисловой природы. Список литературы 1. Орлов А.И. Допустимые ...
0 комментариев