Навигация
Методы экспертных оценок
42312
знаков
1
таблица
0
изображений
3. Методы экспертных оценок
Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР. Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).
Не меньше существует и методов обработки ответов экспертов, в том числе весьма математизированных и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики [5]. Обзор современного состояния в области экспертных оценок дан в обзоре [9].
3.1. Основные проблемы теории и практики экспертных оценок
Что должна представить экспертная комиссия в результате своей работы - информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы комиссии.
3.1.1. Цель - сбор информации для ЛПР
Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов: сначала первый эксперт приводит свои соображения по рассматриваемому вопросу; составленный им материал передается второму эксперту, который добавляет свои аргументы; накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается , когда иссякает поток новых соображений.
Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.
3.1.2. Цель - подготовка проекта решения для ЛПР
Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
ДОГМА СОГЛАСОВАННОСТИ Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.
Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, в [10] приведен пример деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики) Академии наук СССР).).
Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе ( или даже "подсказанной" ЛПР).
Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена, то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение статистической гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас в 80-х годах к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах [5].
МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
Похожие работы
... вопросы в свою очередь связаны с принятием определенных решений, однако в настоящее время они в значительной мере определяются вкусом, склонностями и личными качествами.1.2.2. Сущность процесса принятия управленческого решения Понятие "решение" в научной литературе трактуется по-разному. Оно понимается и как процесс, и как акт выбора, и как результат выбора. Решение как процесс характеризуется ...
... работы является сфера муниципального управления. Предмет исследования – управленческие решения как главный компонент муниципального управления; деятельность исполнительных органов по разработке и принятию управленческих решений. Для реализации вышеизложенных целей и задач использованы следующие методы: · теоретический анализ при рассмотрении: 1) видов управленческих решений и их структуры; 2) ...
... бракованной детали); в) субъективными оценками, сделанными аналитиком самостоятельно либо с привлечением группы экспертов. В более сложных ситуациях в анализе используют так называемый метод построения дерева решений. 2.3 Анализ и принятие управленческих решений в условиях неопределенности Эта ситуация разработана в теории, однако на практике формализованные алгоритмы анализа применяются ...
... , если оно будет признано теми, кого оно затрагивает, установление обратной связи. 2. АНАЛИЗ И ОЦЕНКА ТЕХНОЛОГИЙ РАЗРАБОТКИ И ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ В КУЛЬТУРНО-ОЗДОРОВИТЕЛЬНОМ КОМПЛЕКСЕ «ПОБЕДА» 2.1 Организационно-правовая характеристика комплекса Фирменное название предприятия – открытое акционерное общество «Курортно-оздоровительный комплекс «Победа». Юридическое место ...
0 комментариев