Экспертные оценки значимости показателей

3. Экспертные оценки значимости показателей

Одна из важных методологических проблем построения системы показателей – определение критериев отбора показателей. Среди различных подходов к этой проблеме по значению выделяются логический и исторический. Первый связан с анализом формальной структуры исследуемого объекта, второй – с конкретно-историческим контекстом функционирования объекта. Последний обладает тем преимуществом, что позволяет выдвинуть гипотезу методологического характера о том, что эффективным критерием отбора социально значимых показателей может служить степень отражения им наиболее актуальных социальных проблем и наиболее важных социальных целей общества. До проведения социальных исследований проблемно-целевых аспектов изучаемого объекта наиболее подходящим способом проверки данной гипотезы представляется использование методов экспертных оценок. При этом социальные проблемы следует рассматривать в единстве с социальными целями. Наиболее важные этапы поискового и нормативного прогнозов – построение соответственно «дерева проблем» и «дерева целей». «Дерево целей» не должно строиться чисто умозрительно-дедуктивно, в отрыве от реально существующих проблем, оно не должно строиться и чисто эмпирически-индуктивно, в отрыве от определенного, теоретически разработан­ного социального идеала. Односторонний подход таит в себе опасность ошибок при постановке целей. Кроме того, при построении «дерева проблем» не следует игнорировать теоретически разработанные цели во избежание разрыва между теорией и практикой. В идеале нижний (наиболее детальный) уро­вень «дерева целей» должен совпадать с нижним уровнем «де­рева проблем», Иначе говоря, ближайшие практические цели должны сводиться к решению наиболее актуальных социальных проблем, но иметь четко ориентированную долгосрочную перспективу. С учетом этих особенностей взаимосвязи между «деревом целей» и «деревом проблем» к экспертизе приходится предъявлять довольно строгие требования. Эксперты должны быть специалистами по конкретным социальным проблемам и вме­сте с тем иметь представление о всей проблематике исследуе­мого социального явления, о тенденциях развития его каждо­го конкретного аспекта. Предъявлять такого рода требования к какой-то одной группе экспертов в условиях недостаточно разработанной пока проблематики большинства социальных явлений и процессов было бы нереальным. Поэтому для участия в опросе полезно привлекать различные группы экспертов. Совокупность этих групп призвана обеспечить большую степень репрезентативности выборки респондентов в целом. Для обеспечения надежности результатов желательно использовать несколько (две-три) методик опроса экспертов. Опросы должны иметь определенную логическую последовательность.

Участие экспертов в определении проблем и целей исследуемо­го объекта является весьма эффективным приемом. Специалисты по экспертизе считают, что по существу ни один иной метод прогнозирования не является столь эффективным. Это объясняется не столько достоинствами самого метода, сколько ограничениями, возникающими при использовании более точных и сложных методов, прежде всего недостаточностью исходной информации и необходимостью трудоемких подготовительных процедур. Что же касается экспертных оценок, то они достаточно экономичны и эффективны при сравнительно незначительной потере точности. На первом этапе работы по проведению экспертизы составляют исходный перечень основных проблем изучаемого объекта, обобщают и уточняют его путем контент-анализа. Панельный очный опрос экспертов из параллельной контрольной группы «методом комиссии» позволяет обобщить формулировки проблем, устранить дублирующие друг друга или носящие специфический, частный характер, относящиеся не ко всему объекту в целом, а к его отдельным деталям. В итоге будет получен перечень, который станет основой материала экспертизы – окончательного варианта «Анкеты эксперта». Цель экспертизы – упорядочить выделенные социальные проблемы и соответствующие им показатели, первые – по степени их актуальности в общественной жизни, вторые – по степени эффективности отражения связанных с ними проблем. Проблемы и показатели могут оцениваться при помощи двух независимых методик: ранжирования и непосредственно балльных оценок. Обработка результатов экспертизы проводится традиционными математико-статистическими методами.

Следующую задачу – определение значимости социальных целей исследуемого объекта следует рассматривать в плане решения социальных проблем. Последние ранжируют по степени важности и актуальности, но теперь уже в диалектической взаимосвязи с целями. Для решения этой задачи используют технику деструктивной отнесенной оценки, касающуюся группы экспертных интуитивных методов, коллективное обсуждение мнений и генерацию новых идей. Метод основан на хорошо известных правилах проведения одной экспертизы и принадлежит к классу управляемых экспертных опросов, но с такой степенью свободы высказываний экспертов, которая позволяет рассчитывать как на конструктивную критику даваемых оценок, так и на получение оригинальных, нетривиальных оценок.

Сущность этой техники получения экспертных оценок заключается в стимулировании творческого потенциала экспертов с помощью критики (деструкции) предложенных оценок и выработки (от­несения) новых известными приемами «мозговой атаки». Стимулирующий эффект создается, во-первых, за счет искусственной эли­минации ограничений при высказывании критических экспертных суждений на первом (деструктивном) этапе работы, во-вторых, за счет «расковывания» творческого потенциала экспертов при выска­зывании оригинальных конструктивных суждений на втором этапе работы (отнесение оценок), в-третьих, за счет нового, неожиданно­го «видения» экспертом проблемы глазами своих коллег по ходу дискуссии с ними. Все это позволяет рассчитывать на высокую эффективность применения данной техники при экспертизе сложных социальных явлений. Наиболее эффективна эта техника при вынесении оценок, предполагающих ряд альтернативных вариантов, один из которых может быть расценен как оптимальный по заранее заданным критериям. При таком подходе цель экспертизы сводится к определению набора альтернатив. Кроме того, метод достаточно конструктивен при оценках, связанных с выявлением факто­ров, влияющих на характер альтернатив. Процедуры метода деструктивной отнесенной оценки включают следующие этапы:

1. Составление проблемной записки (материала для обсуждения), включающей описание процедуры опроса и формулировку предмета обсуждения. Она начинается с постановки проблемы и перечня задач опроса. Здесь очень важна четкость формулировки, поэтому сложные объекты обычно расчленяются на более простые элементы.

2. Формирование экспертной группы. Оптимальная численность ее найдена эмпирическим путем: один человек – при рассмотрении сравнительно простых вопросов, несколько больше – при сложных. Желательно, чтобы в группу включались эксперты с сильно развитыми критическими наклонностями (модераторы), обладающие конструктивным мышлением (генераторы), хорошо знакомые с одним из аспектов рассматриваемой проблемы или со всей проблемой в целом. Желательно также, чтобы в группе были представлены специалисты из разных областей знания с высоким уровнем общей эрудиции.

3. Генерация идей на основе обсуждения проблемной записки по правилам «мозговой атаки». Она начинается с того, что ведущий ставит проблему обсуждения, т.е. раскрывает основное содержание проблемной записки, которая раздается экспертам за несколько дней до опроса (им предоставляется возможность освежить ее в памяти непосредственно перед началом опроса), отвечает на вопросы, возникшие у экспертов при ознакомлении с запиской, формулирует подлежащие обсуждению положения и концентрирует внимание участников на правилах проведения «мозговой атаки»:

– высказывания экспертов должны быть четкими и сжатыми (регламент: не более 1—2 минут);

– скептические замечания и критика предыдущих выступлений не допускаются;

– каждый эксперт имеет право выступать несколько раз;

– не разрешается зачитывать ответы, приготовленные заранее;

– слово предоставляется в первую очередь желающему высказаться в связи с предыдущим выступлением;

– ведущий поощряет экспертов за оригинальный подход к рассматриваемым вопросам;

– создается по возможности самая непринужденная обстановка собеседования, «расковывающая» инициативу и творческие по­тенции экспертов, активизирующая обмен мнениями.