Эксперимент в исследовании социально-экономических процессов

Содержание.

 

I.          Схема эксперимента…………………………………………… 4

II.        Типичные нарушения внешней валидности вывода……. 6

III.      Типы квазиэкспериментальных и экспериментальных планов…………………………………………………………… 8

IV.      Примеры экспериментов:…………………………………….17

1.     Пример реактивного эффекта: эксперимент Э.Мэйо, Ф.Ретлисбергера и У.Диксона в Хоуторне

2.Эксперимент по формированию групповых норм Музафера Шерифа.

3.Эксперимент Курта Левина по изучению типов лидерства.

V.        Список используемой литературы………………………… 28

 

 

II. Схема эксперимента

Всякое человеческое действие, предпринятое для достижения определенного результата, — это эксперимент, более или менее успешный. Задача науки заключается в том, чтобы установить точные правила экспериментирования и применять их для достижения заданных параметров. Объектом эксперимента для социолога являют­ся люди и социальные общности — часто их реакция на «научное» вмешательство оказывается непредсказуемой, во всяком случае для экспериментатора.

Логика экспериментального метода была разработана английским социологом и моралистом Джоном Стюартом Миллем, жившим в XIX в. Милль установил пять логических схем индуктивного вывода, одна из которых — «метод различия» — являет собой классическую схему эксперимента.

Схема эта довольно проста. Сначала берутся две совокупности (два объекта) и выравниваются по значимым признакам. Иначе говоря, нужно сделать так, чтобы группы практически не различались. Конечно, они не могут не различаться вовсе. Поэтому внимание экспериментатора сосредоточивается на значимых признаках, т. е. на тех, которые могут оказать влияние на результаты эксперимента.

Например, изучая воздействие телепередачи на политические установки зрителей, исследователь должен убедиться, что возраст испытуемых в различных группах варьирует незначительно. Почему возраст? Потому что из предшествующих исследований известно, что возраст влияет на политические установки. Следовательно этот признак подлежит контролю. Несколько по-иному оценивается например, численность блондинов, брюнетов или шатенов. Обычно такого рода параметрами при изучении политических установок пренебрегают, почему-то не считая их значимыми. Чем больше параметров учитывает исследователь, тем надежнее эксперимент.

Затем начинается полевой или лабораторный этап эксперимента. Иногда утверждается, что это самый главный этап - собственно эксперимент. Такое суждение опрометчиво. Успех или провал экспе­римента зависит прежде всего от того, насколько тщательно прорабо­таны его идеальная схема, план проведения и ожидаемые результаты Лабораторное (полевое) исследование не должно сталкиваться с «нештатными» ситуациями, т. е. ситуациями, не предусмотренными предварительно разработанным планом. Если это происходит по­левую работу надо немедленно прекратить и вернуться к проектиро­ванию исследования. Неудача исследования заключается отнюдь не в отрицательном результате — иногда он имеет большее значение, чем положительный, — а в получении ничего не означающих данных.

Предположим, что все идет «штатно» и мы находимся на полевом этапе эксперимента. Здесь одна группа объектов подвергается воздей­ствию экспериментальной переменной. Все, кто работает в «опытных» науках, делают примерно одно и то же. Химик подвергает вещество воздействию реактива и затем наблюдает, как оно меняет цвет. Физик нагревает газы с целью продемонстрировать их расширение при нагревании. Агробиолог охлаждает семена и затем фиксирует динами­ку роста яровых (правда, потом это оказывается ошибкой). Социолог показывает студентам учебный фильм и констатирует усвоение материала.

На этом эксперимент не заканчивается. Чтобы убедиться в том, что данные результаты возникли вследствие воздействия именно экспери­ментальной переменной, а не какой-либо иной, следует сопоставить параметры экспериментальной группы с параметрами группы, где никаких воздействий не применялось. Различие между этими парамет­рами и есть результат воздействия экспериментальной переменной. Если различие нулевое или несущественное, мы констатируем отсутствие связи. Если применение экспериментальной переменной значительно изменяет распределение изучаемого признака, имеются основания предполагать причинную связь между ними. Такова общая схема, которая лежит в основании более сложных планов эксперимента.

 Классический проект проверки гипотез предполагает работу с двумя объектами: экспериментальным и контрольным. Это не значит, что все экспериментаторы обязаны работать с двумя объектами. Естественные науки XIX в. не знали такого разделения объектов. Впервые экспериментальную и контрольную группы стали выделять в начале XX в.

В социологии и социальной психологии в качестве объектов выбираются группы, идентичные по составу. Экспериментальной группой называется та группа, к которой «применяется» изучаемая независимая переменная; контрольная группа остается вне экспери­ментального воздействия.

Экспериментальная и контрольная группы должны быть практи­чески идентичными. Идентичность экспериментальной и контроль­ной групп достигается двумя способами. Первый способ — попарное выравнивание объектов по значимым переменным, установленным до проведения экспериментальных операций. Выравнивание можно осуществить путем подбора для каждого объекта экспериментальной группы идентичного объекта в контрольной группе. Например, если в экспериментальную группу входит мужчина 40 лет с высшим гуманитарным образованием, в контрольной группе должен быть его «двойник» с такими же параметрами. Очевидно, подбор «двойников» возможен лишь при очень ограниченном числе переменных. В противном случае комплектование групп превращается в неразреши­мую задачу.

Второй, более доступный, метод выравнивания групп основан на выравнивании частотных распределений, а не каждой пары в отдель­ности. Например, экспериментатор обеспечивает 30-процентную долю испытуемых с высшим образованием и в той, и в другой группе. Аналогичные выравнивания осуществляются и подругам признакам, а отдельные испытуемые уже не контролируются. Разумеется, в данном случае не достигается высокого сходства между группами, но комплектование групп намного облегчается.

Третий способ обеспечения идентичности экспериментальной и контрольной групп — случайное распределение объектов по группам. Чаще всего такой способ называют рандомизацией. В отличие от выравнивания рандомизация, как предполагается, устраняет система­тические различия между группами по всем признакам, а не только контролируемым исследователем.

Для осуществления рандомизации массив надо как следует переме­шать и разделить равновероятно. Данный способ особенно предпочти­телен в тех случаях, когда у исследователя нет уверенности, что различия между группами контролируются по значимым переменным. А такой уверенности нет никогда. Обеспечить равновероятное распределение контингента на две группы не так просто, как это кажется. Каждый объект должен иметь одинаковую вероятность попасть в эксперимен­тальную и контрольную группы, поэтому рекомендуется осущест­влять отбор с помощью таблицы случайных чисел либо жребия.

Для определения эффекта, производимого экспериментальной переменной, осуществляются несколько замеров и в той, и в другой группах. Предварительный замер — претест — производится до того, как экспериментальная группа подвергнется воздействию изучаемой переменной. При этом различия между значениями зависимой пере­менной в контрольной и экспериментальной группах должны быть минимальными. После того как экспериментальная группа подвер­глась воздействию определенного стимула, осуществляются замеры в обеих группах. Если значение зависимой переменной в эксперимен­тальной группе статистически значимо отличается от значения протес­та и превышает (статистически значимо) значение протеста в кон­трольной группе, делается вывод (с указанием вероятности случайной ошибки), что переменная-стимул связана с переменной-реакцией. Таким образом, гипотеза принимается (как неопровергнутая, а не как подтвержденная) или опровергается.

Пример экспериментальной проверки гипотезы — исследование влияния мнения учителей об интеллектуальном развитии учеников на интеллектуальное развитие учеников. Исследование проведено Р. Розенталем и Л. Джейкобсом1. Экспериментаторы предположили, что ученики, способности которых оцениваются учителями более высоко, действительно обнаруживают большие успехи. Гипотеза проверялась на материале обследования учеников средней школы в районе, где жили преимущественно бедные. Все ученики прошли тестирование по уровню интеллектуальности (использовалась невербальная техника тестирования). Затем с результатами тестирования ознакомили учи­телей: им сообщили имена детей, обнаруживших большие способнос­ти. На самом деле имена «вундеркиндов» были выбраны случайным порядком. Таким образом, экспериментальная группа состояла из «ожидаемых» вундеркиндов, а остальные дети составляли группу контрольную. Ожидания учителей являли собой экспериментальную переменную, а интеллектуальное развитие детей — зависимую пере­менную. Через год тест был повторен и обнаружились значимые различия: развитие детей экспериментальной группы было выше, чем в контрольной.

Несмотря на внешнюю убедительность, эксперимент не доказыва­ет, что интеллектуальное развитие детей обусловлено именно «эффектом Пигмалиона». Вполне возможны и альтернативные объяснения. Имея дело с людьми, совершенно невозможно избежать реактивного эффекта, когда изучаемый признак неотделим от процедуры замера.

Социологические исследования, в которых независимая и зависи­мая переменные выделяются путем группировки данных, нельзя назвать экспериментом в полном смысле слова. Однако анализ результатов поддается методам, применяемым при управляемом экс­периментальном воздействии.

Обычно результатом неуправляемых социологических экспериментов с естественной возникающей независимой переменной является мера корреляции между признаками. При достаточно высокой корреляции гипотеза о неслучайном характере связи не отвергается. Низкая корре­ляция также не является решающим аргументом в пользу отсутствия причинной зависимости. Лучше всего использовать анализ корреляций для поиска тесных зависимостей, а уже потом выбирать из них гипотезы, требующие дополнительной валидизации.

Чтобы избежать нерелевантных воздействий («шума»), исследователи нередко прибегают к косвенным, квазиэкспериментальным призна­кам. Вряд ли целесообразно спрашивать посетителей музея, нравятся ли им импрессионисты (конечно же, нравятся). Вместо этого социо­логи пытаются замерить степень истертости лакового покрытия полов у художественных полотен, считающихся знаменитыми. Самые попу­лярные книжки — не те, о которых идет разговор респондента и интервьюера, а имеющие совершенно затрепанный вид библиотечные экземпляры приключенческих и любовных романов. Методическое требование формулируется вполне отчетливо: экспериментальная переменная не должна привносить существенные изменения в объект и обязана быть незаметной.

С помощью сравнения устанавливается, влечет ли за собой изме­нение значения независимой переменной изменение значения пере­менной зависимой. Например, если существует связь между некото­рым методом преподавания и степенью усвоения материала студента­ми, то студенты обнаруживают более высокую успеваемость после применения данного метода. Для того чтобы установить совместную изменяемость метода преподавания и успеваемости, сравниваются успеваемость в группе студентов, подвергшихся воздействию пере­менной х (метода преподавания) с успеваемостью в группе студентов, не подвергшихся такому воздействию.

Иными словами, чтобы установить ковариацию, значения зави­симой переменной замеряются до и после применения независимой переменной. Иная версия сравнения: данные по группе, где приме­нялась независимая переменная, сравниваются с данными по группе, где независимая переменная не применялась. В первом случае группа сравнивается с самою собой, во втором — экспериментальная группа сравнивается с контрольной. Без сравнения никакой эксперименталь­ный план невозможен.

Распределение испытуемых по группам — довольно сложная этическая и методическая проблема. Если проинформировать челове­ка, что он включен в контрольную группу, это может повлиять на результат эксперимента. Нетрудно предугадать, какой эффект вызо­вет переход половины класса в отдельное помещение. Если не сообщать испытуемым о замысле исследования, возникают некоторые этические сложности, связанные с тем, что личность становится объектом манипуляции. В большинстве случаев испытуемый не должен ничего знать об истинных исследовательских гипотезах. Поэтому в полевой работе, как правило, предусматривается «легенда», маскирующая истинные намерения экспериментатора. Даже если испытуемый знает, что находится под наблюдением, он не должен догадываться, какая задача на самом деле решается в эксперименте. Демаскировка равнозначна срыву полевой работы.

Этические проблемы, возникающие в социологическом экспе­риментировании, не более серьезны, чем аналогичные проблемы в медицине и биологии. Манипулирование людьми, обращение с ними, как с материалом, — неизбежный факт исследовательской работы. Конечно, здесь возможны злоупотребления, но где их нет?

В отличие от естественных и технических наук в социологии отсутствуют теоретические схемы, являющиеся основанием для оцен­ки значимости переменных. Когда инженер проверяет надежность прибора на стенде, он знает, что окраской корпуса в большинстве случаев можно пренебречь.  Иное дело — живые респонденты, для которых могут оказаться весьма существенными параметрами как раз те, которые не воспринимаются серьезно исследователем. Например, если в хорошо подобранной экспериментальной группе окажется несколько энтузиастов, результаты экспериментирования нельзя считать «чистыми» вне зависимости от темы исследования.

Из сказанного следует, что проконтролировать все значимые переменные невозможно, но необходимо. Поэтому исследователь создает измерительные конфигурации, исходя из своих теоретических представлений.

С помощью сравнения устанавливаются лишь различия между группами, но вопрос о зависимости признаков остается открытым. Манипуляция с экспериментальными объектами позволяет включить в научный вывод суждение о причинной зависимости между перемен­ными. Со времен Дэвида Юма известно, что причинность не может быть выведена с помощью одного только рассудка и опирается на привычку — суждение, находящее свои основания в практическом, вненаучном опыте. Экспериментирование заключается в манипуля­циях, которые вызывают соответствующие изменения в объекте. Здесь отчетливо прорисовывается критерий зависимости независи­мости: зависимая переменная всегда реагирует на внесение изменений в независимую переменную. Однако объект может изменяться под влиянием и иных, альтернативных факторов.

Известно также, что «после этого — не по причине этого». Предшествование по времени является необходимым, но недостаточным условием причинения. Нужна еще уверенность в том, что причина лежит именно в данной, а не в иной переменной. Поскольку имеется практически бесконечное число возможных причин, повлиявших на изменения, такая уверенность никогда не достигается. Исследователь может лишь проверить гипотезу и не отвергнуть ее.

В лабораторных условиях можно манипулировать переменными и осуществлять замеры до и после изменений. В естественной обстанов­ке манипулировать обстоятельствами чаще всего невозможно. В последнем случае говорить о причинности особенно рискованно.

Контроль — третья задача экспериментального проекта. Она направлена на устранение постороннего («третьего») фактора, влияю­щего на причинную зависимость между изучаемыми переменными. Часто контроль обозначается как обеспечение внутренней валидности научного вывода и соотносится с ответом на вопрос: действительно ли причиной наблюдаемого события (значения переменной) является признак, рассматриваемый исследователем как независимый.

Ф. Чэпин сравнивал экспериментальную группу семей — тех, кого переселили в новые квартиры, с контрольной группой — теми, кто остался жить в трущобах. Он изучал изменения в жизненном укладе обитателей трущоб, которые происходят под влиянием переселения семей в дома общественного сектора. Основной вывод исследования опирался на установленный факт: в экспериментальной группе уровень жизни значительно повысился. Отсюда следовало заключе­ние, что проекты общественной застройки обусловливают положи­тельные изменения в образе жизни людей. Однако этот вывод недостаточно обоснован, поскольку семьи, переселившиеся в новые дома, изначально отличались от семей контрольной группы. Вероятно экспериментальная и контрольная группы различались по типу занятости, уровню образования, величине семьи, в конце концов по установкам. Все эти «третьи» факторы следовало контролировать до того, как сделан вывод о влиянии переселения на образ жизни семей.

Для более или менее уверенного утверждения о причинной зависимости между переменными надо соблюсти три необходимых условия. Первое условие относится к временной последовательности - причина предшествует следствию, только после применения экспери­ментальной переменной наблюдается эффект. Второе условие состоит в статистической зависимости одного признака от другого; утвержде­ние о причинной связи не может не опираться на установленную тесную корреляцию. В практике статистического оценивания разра­ботаны критерии и допущения, считающиеся приемлемыми для такого рода утверждений. Например, считается достаточной вероят­ность ошибки 5 шансов из 100.

Предположим, что один признак предшествует другому и между ними наблюдается тесная статистическая связь. Однако утверждать о причинной связи преждевременно. Следует соблюсти третье условие - самое сложное: не должно быть иного правдоподобного альтернатив­ного объяснения возникновения признака-следствия, кроме как связь с экспериментальным признаком. Иными словами, связь может казаться причинной, а на самом деле является результатом влияния посторонних («третьих») переменных. Экспериментатор обязан сделать все возможное для устранения этого «шума». Отсутствие каких-либо альтернативных объяснений и достаточная уверенность в том что эффект вызван именно данной причиной, определяется как внутренняя валидность эксперимента. При соблюдении всех трех условий, т. е. внутренней валидности, можно уверенно утверждать о причинной связи между признаками. Правда, соблюсти все три условия еще никому не удавалось.

Но эксперимент — довольно локальное событие. Он ограничен временем, местом, материалом и иными внешними обстоятельствами. А можно ли распространить полученные во внутренне валидном эксперименте выводы на иные, в том числе неэкспериментальные ситуации? Здесь возникает проблема генерализации — четвертой экспериментальной задачи, завершающей цикл сравнения, манипулирования и контроля. Предположим, студенты тестируются в лабора­тории по поводу их эмоционального отношения к политическим терминам. Сохранится ли их отношение к этим терминам вне аудитории? А если вместо студентов экспериментировать с рабочими? Реакция на политические термины в устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена контекстов открывает проблему внешней солидности — возможности обобщения, генерали­зации полученного заключения.

Ошибки внешней валидности связаны с двумя причинами. Пер­вая — это нарушение репрезентативности отбора единиц исследования. Предположим, что с помощью методического эксперимента установ­лено, что на открытые вопросы даются более многообразные ответы, чем на вопросы закрытого типа. Оценка внутренней валидности заключается в гарантиях, что степень многообразия ответов была вызвана именно типом вопроса, а не каким-либо иным фактором. Внешняя валидность предполагает, что такая же зависимость будет наблюдаться не только в процессе эксперимента, но и в любых ситуациях опроса.

Если, например, в экспериментальную группу были набраны добровольцы (т. е. люди, обнаруживающие активную положительную установку на беседу с интервьюером), то полученные данные вряд ли репрезентативны для массового опроса, где часто встречаются респон­денты, не расположенные к многообразным ответам. Риск ошибки, обусловленный нарушением внешней валидности, значительно воз­растает. В идеальном случае экспериментальная и контрольная группы должны формироваться методом случайного отбора, чтобы они могли репрезентировать генеральную совокупность. Однако дело это слиш­ком трудоемкое и дорогостоящее.

Внешняя валидность отсутствует и в тех случаях, когда план эксперимента основан на искусственных допущениях. В знаменитом эксперименте Музафера Шерифа по формированию групповых норм испытуемые должны были оценить расстояние до точечного источни­ка света, находясь в полной темноте. Поскольку трудно предположить, что в реальной жизни люди часто обсуждают автокинетический эффект, внешняя валидность эксперимента Шерифа остается под вопросом.

В целом внешняя валидность тем больше, чем шире область распространения полученных выводов. Закон Ньютона—Кеплера, связывающий силу притяжения тел с их массами и расстояниями между ними, обладает практически универсальной внешней валидностью. Подтверждение внешней валидности достигается путем мно­гочисленного воспроизведения эксперимента в новых условиях.

Проблемы внутренней валидности логически разрешимы посред­ством статистического контроля и оценивания. А внешняя валидность не имеет убедительного логического обоснования.

III.      Типичные нарушения внутренней валидности вывода

На результаты эксперимента оказывают влияние любые события, происходящие во время проведения исследования, особенно если оно занимает продолжительное время. Сама зависимая переменная меня­ется под влиянием посторонних обстоятельств, и какое из них обусловило изменения, — остается неясным. Причины изменений обозначаются как изменения исторического фона. Под «историей» имеется в виду история эксперимента.

Предположим, проверяется гипотеза о воздействии пропаганды на поведение избирателей. В соответствии со схемой эксперимента осуществляется замер электоральных предпочтений до пропаган­дистской атаки и после нее. Затем сопоставляются значения этой переменной в двух группах: экспериментальной, подвергавшейся пропагандистскому воздействию, и контрольной, где на избирателей не оказывалось влияния. Предположим, далее, что установлены существенные различия между экспериментальной и контрольной группами. Однако можем ли мы быть уверены, что различия обуслов­лены именно пропагандой. За короткий промежуток времени на мнения избирателей могли повлиять различные события: повышение цен, сенсационные разоблачения политических лидеров, рост инфля­ции. Все эти факторы могут служить основой альтернативных гипотез. Чем больше временной промежуток между протестом и посттестом, тем больше вероятность «исторических» искажений результатов экс­перимента.

Модификацией «исторических» изменений являются естественные изменения в самом объекте экспериментирования — «матурация». С течением времени меняется не только внешняя среда, но и внутренние качества испытуемых. Предположим, что экспериментальной провер­ке подвергается метод преподавания и предварительные измерения отделены от итоговых измерений временем, занимающим почти весь учебный год. Разумеется, за этот период произойдут существенные сдвиги в уровне усвоения материала студентами — здесь нельзя сбрасывать со счетов то обстоятельство, что испытуемые стали взрослее и, вероятно, умнее. Результат может быть вызван и новым методом преподавания, и взрослением экспериментального контингента. Даже если эксперимент длится два-три часа, на его результаты может повлиять усталость и раздражение испытуемых.

Несоответствие составов групп. На внутреннюю валидность вывода оказывают искажающее влияние изменения в составе экс­периментальной и контрольной групп. Особенно часто это случается тогда, когда для эксперимента выбираются примерно равные по возрасту классы, студенческие группы. Однако проконтролировать все различия довольно трудно. Например, более высокий уровень сплоченности в одной группе может привести к существенным искажениям результатов. Надежное средство выравнивания составов контрольной и экспериментальной групп — рандомизация.

Отсев испытуемых. Если эксперимент длится долго, вероятность избежать отсева испытуемых по разным причинам довольно высока. Поэтому при осуществлении итоговых измерений невозможно с уверенностью сказать, насколько повлияло выбытие испытуемых на результат. Чаще всего из экспериментов выбывают испытуемые из контрольных групп.

Нестабильность инструментального комплекса. Изменения могут затрагивать не только внешние обстоятельства (фон) и испытуемых, но и измерительный инструментарий исследования. Проблема заклю­чается в том, что в отличие от естественных наук в социологии и психологии измерительные инструменты (в том числе интервьюер) меняются. А смена измерительного комплекса влечет за собой смещение данных. Здесь нельзя менять ни wording, ни калибровку, ни стиль интервьюирования. При экспериментах, связанных с контролем успеваемости студентов, такого рода погрешности практически неиз­бежны. Необходимо не только сохранить критерии оценки знаний — часто интуитивные, но даже тот психологический настрой, который был присущ экзаменатору в момент первой проверки. Смена экзаме­натора в данном случае эквивалентна смене инструмента и препятству­ет всяким сопоставлениям.

Экспериментальный инструментарий предполагает однократное применение к одному испытуемому. В противном случае возникнет эффект тестирования. Если экспериментатор обратится с тем же тест-вопросником вторично, результаты замера будут иными, поскольку испытуемый уже знаком с инструментом и будет осознанно или неосознанно корректировать свои реакции, например стараться вспомнить, что говорил прошлый раз, и воспроизводить свои ответы. Собственно говоря, знакомый испытуемому тест-вопросник — уже другой инструмент, чем тот, который применялся на стадии протеста, и сравнение данных содержит существенную погрешность.

И, наконец, самые существенные искажения связаны с влиянием на результат эксперимента наряду с независимой переменной самой экспериментальной ситуации — часто такое влияние называют реактивным эффектом.

Лучше всего проиллюстрировать возникновение реактивного эффекта на примере проверки нового метода лечения. Зная о том, что на них испытывается новый метод лечения, пациенты обнаруживают заметные улучшения по крайней мере в клинической симптоматике заболевания. Лучше себя чувствуют даже те, кто входит в контрольную группу, т. е. не находится под воздействием экспериментальной переменной.

Влияние инструмента на реакции респондентов может быть самым неожиданным. В литературе хорошо описан «эффект интервьюера», когда ответы в значительной мере обусловлены невольным воздей­ствием личности интервьюера. Реже упоминается, что вопросы, задаваемые в ходе одного интервью, обнаруживают более высокую корреляцию, чем те же вопросы, включенные в разные анкеты. Если вопросы интервью следуют друг за другом, наблюдается «гала-эффект»: корреляция между ними выше, чем между такими же, но «отдаленными» вопросами. Корреляция между данными, полученны­ми в один день, выше, чем корреляция между данными, полученными в разные дни.

Следует различать действие экспериментальной переменной и экспериментальной ситуации. В последнем случае мы имеем дело с реактивным эффектом. В медицине от него пытаются избавиться с помощью р1асеЬо — контрольным больным дают «видимость» экспериментальной переменной, например, таблетки такого же цвета и вкуса, какие дают экспериментальным больным. Таким образом, р1асеbо является одним из способов выравнивания эффекта экспери­ментальной ситуации. В социологии применить р1асеbо практически невозможно.

Имеются и другие факторы, снижающие внутреннюю валидность: взаимодействие фактора отбора с «матурацией», деморализация испы­туемых, связанная с кажущимися неудачами; имитация воздействия и т. п.

Нарушения внутренней валидности, обусловленные изменениями «исторических» обстоятельств эксперимента, компенсируются срав­нением контрольной и экспериментальной групп — изменения в данном случае затрагивают и тех, и других испытуемых. Аналогичным образом изменения в измерительном инструментарии затрагивают обе группы. Реактивный эффект также оказывает одинаковое воздейст­вие на всех испытуемых. Особенно серьезную опасность представляют посторонние переменные, связанные с недостаточным выравниванием групп.

Внешняя валидность, как уже говорилось, это возможность распространить установленные зависимости за рамки эксперимен­тального материала. При высокой внутренней валидности, т. е. при уверенности, что изменения в переменной х вызывают определенные изменения в переменной у, внешняя валидность может оказаться совершенно неудовлетворительной.

Предполагается, что в отличие от лабораторного эксперимент «на натуре» ближе к жизни. Часто эксперименты, проводимые на улице, на производстве, в общественных учреждениях, по месту жительства и т. п. называют в отличие от лабораторных «естественными». Здесь этические проблемы, связанные с навязыванием ничего не подозре­вающим людям экспериментальной «легенды», стоят особенно остро.

В литературе имеются десятки примеров замаскированных по­левых экспериментов, позволяющих сравнить ситуации с разными значениями независимой переменной. Изучалась реакция публики на «пешеходов» высокого и низкого социального статуса, переходящих проезжую часть на красный сигнал светофора. Разумеется, пешехода­ми были экспериментаторы, одетые так, как одеваются люди высокого и низкого социального положения. Рассылались письма с просьбой о приеме на работу, при этом в одной группе указывались сведения уголовного характера, в другой — нет. Зависимой переменной в данном случае являлись реакции работодателей. Женщина рядом с автомобилем, у которого села покрышка... В одних случаях она демонстрирует просьбу о помощи, в других — нет. «Нищие», внешний вид которых отчетливо идентифицируется с представителями определенных этнических групп, сидят на тротуаре... «Джентльмен» спрашивает прохожих, не уронил ли кто только что найденную долларовую бумажку... Помощники экспериментатора собираются на улице в группы разной величины, а затем устанавливается число прохожих, привлеченных группой. Несколько «хулиганов» на улице пристают к дамам... Письма делового, любовного и «нейтрального» содержания, «по ошибке» попавшие в чужие руки... Перечень подоб­ных естественных экспериментов бесконечен. Однако свидетельствуют ли они о связи переменных — неясно. Остается сомнение: являются ли естественные эксперименты более естественными и валидными, чем эксперименты в лабораториях. Очевидный «минус» естественных экспериментов — нарушение моральных норм, связанное с целена­правленным обманом испытуемых, не дававших согласия на участие в «социодраме». Отчасти исследователей извиняет то обстоятельство, что моделируемые ситуации входят в число повседневных и не связаны с ущербом, кроме незначительной потери времени. Но, бывает, мера превышается. Известны, например, опыты С. Мильгрема с кажущим­ся применением электрошока к испытуемым, создание ситуаций, связанных с угрозой верной гибели, и т. п.

IV. Типы квазиэкспериментальных и экспериментальных планов

Многие социологические эксперименты строятся по упрощенному плану «исследования случая»: выбирается удобная группа испытуемых, к ним применяется воздействие экспериментального фактора x и замеряется результат О.В данном случае не производится ни контроля, ни сравнения, и невозможно утверждать ничего определенного о связи экс­периментальной переменной с эффектом. Вывод в данном случае основан на имплицитном предположении, какими могли бы быть данные, если бы не было экспериментальной переменной х. Нередко в качестве экспериментов такого рода рассматриваются крупные политические события (разгон парламента, политические выборы, революции и т. п.). Когда Лайфорд Эдварде связывал причину революции с моральной атакой публицистов на привилегии власть предержащих, он имел в виду некие глобальные исторические эксперименты, результатом которых явился политический пере­ворот2.

Связь между «причиной» и «следствием» в лучшем случае обсуж­дается в риторических терминах, но никоим образом не контролируется, поэтому речь в данном случае идет не об эксперименте, а о квазиэкс­перименте. Ситуация, сложившаяся после «экспериментального» события, может быть объяснена множеством факторов, не связанных с экспериментальной переменной. Поэтому в социологии конкури­руют разные в равной степени убедительные версии, но о внутренней валидности вывода судить невозможно. Внешняя валидность рассмат­риваемого плана также сомнительна. «Часто результаты таких иссле­дований представляют собой унылое нагромождение конкретных деталей, скрупулезных наблюдений, измерений и т. п., причем точ­ности в таких случаях добиваются не там, где надо», — пишет Дж. Кэмпбелл3. Никакое сравнение отдельно взятых факторов не может получить обоснованную теоретическую интерпретацию.

Несмотря на очевидную слабость такого рода, квазиэксперименты играют важную роль в социальных и поведенческих науках, особенно в тех областях, где взаимообусловленные признаки не обязательно являются независимой и зависимой переменными в строгом смысле. В социологии чаще изучается связь не между стимулом и реакцией, а между «качествами», одно из которых считается причиной, а другое — следствием. Когда исследуется связь социального статуса и полити­ческих установок, первое «качество» с полным основанием считается независимым. Однако в данном случае сложно судить о временной последовательности воздействия. Первое условие эксперимента здесь соблюсти невозможно. Второе условие эксперимента также нарушено, поскольку в социологии переменные чаще всего не специфицированы и образуют синдромы. Например, классовая принадлежность означает и владение собственностью, и образование, и культурные приоритеты, и престиж. Такого рода синдромы, как правило, не поддаются разложению на единичные признаки и, следовательно, эксперимен­тальной манипуляции. И, наконец, в естественных условиях невоз­можно выравнять экспериментальную и контрольную группы. Поэ­тому требования сравнения, манипулирования и контроля оказыва­ются невыполнимыми для большей части социологических задач. Отсутствие экспериментального контроля может быть с успехом компенсировано философским теоретическим дискурсом. Например, пресловутый английский индивидуализм объяснялся Э. Канетти разрозненностью индивидов, окруженных морем и воображающих себя капитанами4.

При сравнении статистических групп основная трудность состоит в установлении тех, кто подвергся воздействию экспериментальной переменной. Собственно говоря, необходимо четко отделить кон­трольную группу от экспериментальной после того, как эксперимен­тальная переменная уже «сработала» без участия со стороны экспери­ментатора. Этой схеме Ф. Чэпин дал наименование ех роst fасtо. Он изучал влияние школьного обучения на жизненный успех и карьеру за период в десять лет5. Данные о карьере собирались методом интервью, а ситуация в школе устанавливалась из архивных источни­ков. Чэпин обнаружил, что окончившие школу имели более высокие показатели жизненного успеха, чем те, кто не смог завершить обучение. Было также установлено, что естественная «контрольная» группа отличалась от «экспериментальной»: социальный статус роди­телей респондентов, окончивших школу, был выше, чем у «контроль­ных» респондентов. Спрашивается, не является ли успешное оконча­ние школы, продвижение в статусе на протяжении последующих десяти лет следствиями «третьего» фактора, например родительской семьи и окружения? Чэпин выравнивал группы учеников по соци­альному статусу родителей и другим «стартовым» признакам, которые могли повлиять на жизненный успех и карьеру. Массив разделялся только по признаку окончания / не окончания школы. Выравнивание, осуществленное Чэпином, не считается вполне корректным: для тех, кто окончил школу, может быть много иных объяснений жизненного успеха, чем социальный статус родителей.

Квазиэкспериментальные исследования и статистическая обра­ботка данных позволяют достаточно надежно проверять гипотезы о взаимосвязях. Например, для проверки гипотезы о влиянии стабиль­ности родительской семьи на стабильность семьи второго поколения весь массив наблюдений делится на две группы: респондентов, у которых родительская семья распалась, и тех, у которых она не распалась (промежуточными формами в данном случае можно прене­бречь). Если в первой группе число разводов оказывается существенно выше, чем во второй, гипотеза не отвергается. Разумеется, утверждать о причинной связи этих признаков оснований мало, хотя такая связь не исключается. Более строгий контроль взаимодействия переменных обеспечивается методами многомерного анализа, которые позволяют выявить связь переменных в «чистом» виде, без посторонних влияний.

Сочетание квазиэкспериментальных планов с достаточно боль­шим числом наблюдений значительно увеличивает как внутреннюю, так и внешнюю валидность вывода. В социологических исследованиях может эффективно применяться квазиэкспериментальный план вре­менных серий. Он основан на введении экспериментального фактора после длительных наблюдений за динамикой переменной и установ­ления тренда.

Изменение временного ряда после экспериментального воздейст­вия свидетельствует о том, что причиной изменения, скорее всего, является х. Например, если производительность труда, достаточно долго сохранявшаяся на стабильном уровне, изменилась после обору­дования рабочих мест более сильным освещением, можно полагать, что освещение повлияло на производительность труда. Рискованность такого вывода была продемонстрирована экспериментами в Хоуторне.

Квазиэкспериментальный план наблюдения одной и той же группы респондентов на протяжении длительного времени получил в социологических исследованиях наименование панели. Впервые па­нель была использована П. Лазарсфельдом, Б. Берельсоном и X. Годе для изучения установок избирателей на президентских выборах. В 1940 г. в небольшом американском городке Эри Коунти (штат Огайо) исследователи сформировали панель из 600 человек и опрашивали их ежемесячно с мая по ноябрь, чтобы установить изменение электораль­ных предпочтений. Кроме панели, интервьюировались три рандомизированных контрольных группы по 600 человек каждая. В отличие от панели, которая опрашивалась ежемесячно, контрольные группы опрашивались по одному или по два раза⁹. Реактивный эффект панели контролировался в соответствии со схемой контрольных опросов (табл. 6.1).

Таблица 6.1

Схема интервьюирования контрольных групп в исследовании П.Лазарсфельда, Б. Берельсона и X. Годе, Эри Коунтн, 1940 г.

Последовательность интервью	Контрольные руины  А В С	Экспериментальная Группа
Первое — май	+ + +	+
Второе — июнь		+
Третье — июль	+	+
Четвертое — август	+	+
Пятое—сентябрь		+
Шестое — октябрь	+	+
Седьмое — ноябрь

Изначально предполагалось, что панель создаст повышенную заинтересованность респондентов в интервью, в том числе будет способствовать повышению информированности и форсирует выбор позиции относительно предстоящего голосования в условиях возмож­ной неопределенности. Эти гипотезы были тщательно проверены. Результаты опроса показали, что реактивный эффект панели практи­чески не влияет на динамику предпочтений (табл. 6.2).

Таблица 6.2

Реактивный эффект панельного интервьюирования в исследовании П. Лазарсфельда, Б. Берельсона и X. Годе, Эри Коунти, 1940 г., %

Динамики интереса к выборам	Четвертая серия интервью		Шестая серия интервью
	Панель 4	Контрольная группа В	Панель 6	Контрольная группа С
Повысился	22	22	34	28
Остался на том же уровне	66	66	58	60
Понизился	12	12	8	12
Всего	100	100	100	100

Две первые колонки показывают, что значения контрольной группы В и панели полностью совпадают, хотя в панели проведено уже четвертое интервью. Когда панель интервьюировалась шестой раз, а контрольная группа С — второй, общий уровень интереса повысился, причем в панели повышение более заметно, чем в контрольной группе. Таким образом, существенного влияния повторного интервьюирова­ния на динамику ответов не установлено.

Многократно повторяющиеся опросы одних и тех же респондентов проводились П. Лазарсфельдом, Б. Берельсоном и У. Макфи в 1948 г. В этот раз панель велась в городке Эльмира неподалеку от границы, отделяющей штаты Нью-Йорк и Пенсильвания. Панель включала уже тысячу человек, а опросы проводились с июня по ноябрь 1948 г.6.

При работе с панелью особую трудность представляет сохранение состава группы. Как правило, панель комплектуется из респондентов, проявивших заинтересованность в опросе. Это само по себе несет угрозу внутренней и внешней валидности, а с течением времени у многих респондентов первоначальный энтузиазм сменяется разочарованием. Отсев панели распределяется не равновероятно. Более высо­кие шансы на продолжение сотрудничества имеют те, кто хочет участвовать в массовом опросе. Что касается естественного отсева, обусловленного переменой места жительства, то и здесь содержится угроза валидности вывода. Данный фактор риска затрагивает преиму­щественно респондентов молодого возраста. Наконец, само панельное обследование обладает некоторым реактивным эффектом.

Результаты Лазарсфельда и соавторов не следует распространять на широкий круг переменных. Ясно, что респонденты, знающие, что находятся под наблюдением, могут значительно отличаться от «нор­мальных» людей. В «острых» вопросах, затрагивающих, например, криминогенные обстоятельства, панель обретает мощный «воспита­тельный» потенциал. Статистические органы России и других стран постоянно ведут наблюдения за бюджетом одних и тех же семей с целью учета динамики благосостояния. Даже если в этих семьях и не опасаются сообщать о своих доходах, сам факт тщательной регистра­ции доходов и расходов отличает бюджетную панель от генеральной совокупности. Внешняя валидность данных становится сомнитель­ной. Да и в обычных случаях панель создает повышенный риск. Скажем, респонденты могут демонстрировать устойчивые оценки и мнения, хотя на самом деле они думают совсем иначе — кому хочется показаться неверным своему слову? Все эти аргументы не означают методической слабости панельных опросов. Данные панелей оце­ниваются исключительно высоко.

В отличие от панели в трендовом квазиэкспериментальном плане формируются эквивалентные выборки, имеющие различающийся состав респондентов. Единственное требование к ним — репрезента­тивность относительно одной и той же генеральной совокупности. Трендовые обследования часто проводятся статистическими органами и службами общественного мнения. Если влияние экспериментальной переменной не контролируется, задача сводится к совокупности последовательных опросов по плану «исследования случая». Но если требуется проверить гипотезу о взаимосвязи, необходимо учитывать почти все факторы риска, за исключением отсева группы.

Трендовые наблюдения относятся к типу «естественных экс­периментов», и независимая переменная выбирается в качестве критерия выделения подмассивов. Например, можно выделить людей с высшим образованием и показать, что процент разводов в этой группе на протяжении длительного времени остается более высоким, чем в группе лиц со средним образованием. Однако связь этих переменных не контролируется и, следовательно, сомнительна с точки зрения внутренней валидности. С другой стороны, соотношение между образованием и вероятностью развода обладает высокой внешней валидностью.

Вообще социологические исследования оставляют желать лучшего с точки зрения внутренней валидности, зато их результаты могут быть распространены на обширный класс событий. Правда, остается неяс­ным, стоит ли обобщать столь сомнительные зависимости, которые устанавливаются в квазиэкспериментальных планах. «Чистые» лабора­торные эксперименты характеризуются высокой внутренней валид­ностью, а их внешняя валидность не поддается оцениванию. В равной степени сомнительны выводы, высокая валидность которых ограни­чена трудновоспроизводимыми лабораторными условиями. В таких случаях вступает в дело атеоретичный критерий оригинальности и правдоподобия вывода.

В середине 1950-х гг. Соломон Аш изучал условия, при которых индивид принимает либо отвергает групповое давление, когда оно противоречит фактам. Группа из шести—девяти человек (мужчины, студенты колледжа, 17 — 25 лет) получала задание на проверку визуального распознавания длины нарисованных на карточках отрез­ков. Такова была «легенда» эксперимента. Предъявлялась карточка с изображением отрезка прямой линии — стандарт, который надо было сравнить с тремя другими отрезками разной длины. Один из них был равен стандарту, два другие — отличались. Производилось 18 проб, в которых испытуемые открыто высказывали оценки длины отрезков. Говорили по очереди. Один из них — объект реального эксперимен­тирования — всегда отвечал последним или предпоследним и испы­тывал давление групповой оценки — изначально ложной. Таким образом, создавалась ситуация конфликта между группой и индиви­дом. В итоге было установлено, что групповая заведомо ложная позиция снижает число правильных ответов до 50 — 70% .

Трудно представить, чтобы в «реальном мире» происходил кон­фликт по поводу длины нарисованных на бумаге отрезков. Однако в данном случае действует умозаключение по аналогии: если в очевид­ных случаях каждый третий принимает заведомо ложную групповую позицию, то какова мера конформизма в идеологии, морали, право­судии и других неочевидных, но значимых вопросах?

План с эквивалентными выборками заключается в изучении преце­дентов, когда применяется экспериментальная переменная, и сравнении их с ситуациями, когда она не применяется. Например, В. Керр изучал таким образом влияние музыки на производительность труда: он сравнил 56 «музыкальных» рабочих дней с 51 днем «немузыкаль­ным». Факторы риска, снижающие внутреннюю валидность, особенно реактивный эффект, присущи этому квазиэкспериментальному пла­ну в полной мере. Вполне возможно, что в «музыкальные» дни работники старались проявить себя с лучшей стороны.

Экспериментирование на одном объекте с предварительным и итоговым замерами. План данного эксперимента заключается в осуществлении замера до применения экспериментальной пере­менной х и после этого. Полученное различие, как предполагается, — следствие x.

Часто такой вывод воспринимается как вполне правдоподобный, если известно, что за время между предварительным и итоговым замерами ничего существенного не произошло. В данном случае речь идет о влиянии на внутреннюю валидность факторов исторического фона, естественного развития («матурации») и особенно эффекта тестирования. Исследования показывают, что при тестировании интеллекта и контрольных проверках знаний результаты итогового замера выше, чем результаты предварительного. При исследовании предрассудков предъявление суждений, выражающих враждебность, изменяет установки испытуемых в сторону большей враждебности.

Значительные искажения в эксперимент такого типа вносит реактивность респондентов. Результат наблюдения часто возникает под влиянием самого исследования. Журналисты хорошо знают, что интервью с записью на диктофон значительно отличается от нормаль­ного разговора. Появление интервьюера с бланком опроса на сельской улице приводит население в состояние тревоги. Рецепт здесь прост:

наблюдение должно иметь по возможности характер пассивной регистрации.

Сравнение нерандомизированных экспериментальной и контрольной групп. В соответствии со схемой Милля предполагается, что при прочих равных условиях группа, испытавшая воздействие переменной х, обнаружит определенный признак О1, а группа, не испытавшая такого воздействия, обнаружит признак О2. Отсюда следует, что х есть причина.

Данный квазиэкспериментальный план представлен, например, в сравнении обществ, имеющих рыночную экономику, с обществами централизованного планирования. Первые обладают более высоким благосостоянием, которое рассматривается как следствие рыночной конкуренции. На самом деле различия в благосостоянии обществ могут быть объяснены и без экспериментальной переменной. Сла­бость рассматриваемой схемы заключается в отсутствии контроля за идентичностью групп.

Экспериментальный план с предварительным и итоговым замерами и контрольной группой. Сравнение результатов наблюдения за объек­тами до и после эксперимента становится контролируемым при условии выравнивания или рандомизации групп (R).

Из всех факторов риска здесь наибольшее значение имеют исторический фон, естественная внутригрупповая история объекта и отсев испытуемых (если эксперимент достаточно длительный). Мно­гие тщательно разработанные эксперименты подобного рода плохо воспроизводятся. Это наводит на мысль, что в их «истории» имели место какие-то специфические события, повлиявшие на различия между предварительным и итоговым замерами. Рекомендуется рандомизировать отдельные сеансы эксперимента с учетом личности экспериментатора, времени суток, дня недели, начала и конца семестра и т. п. Что касается отсева, то этому фактору риска больше подвержена контрольная группа, с которой не ведется эксперимен­тальная работа, например, учащиеся не посещают уроки совместного чтения. В таких случаях для лабораторных экспериментов рекомен­дуется плацебо-эффект, хотя признается, что он дает результаты не хуже, чем настоящее экспериментальное воздействие.

Эксперимент Р. Соломона для четырех групп. Модификация эксперимента с предварительным и итоговым замерами и конт­рольной группой была осуществлена путем формирования четырех рандомизированных групп.

В первой группе производится предварительный замер, затем вводится экспериментальная переменная, после чего осуществляется итоговое наблюдение. Во второй группе делается то же самое, но без экспериментального фактора. В третьей группе предварительного наблюдения вообще не производится, а сразу за экспериментальным фактором следует итоговое наблюдение. Четвертая группа на протя­жении всего эксперимента остается неприкосновенной, за исключе­нием проведения итогового наблюдения. Таким образом возможности контроля внутренней валидности значительно расширяются.

Причинная связь высоковероятна при условиях, что итоговое наблюдение будет существенно отличаться от предварительного после применения экспериментальной переменной (первая группа); что итоговое наблюдение после применения экспериментальной перемен­ной с предварительным наблюдением будет существенно отличаться от итогового наблюдения без применения экспериментальной пере­менной (вторая группа); что итоговое наблюдение после применения экспериментальной переменной без предварительного наблюдения (третья группа) будет существенно отличаться от итогового наблюде­ния в «неприкосновенной» четвертой группе; что итоговое наблюде­ние после применения экспериментальной переменной без предвари­тельного наблюдения (пятая группа) будет существенно отличаться от предварительного наблюдения в третьей группе.

Имеются и иные возможности контроля. Сравнение предва­рительных замеров в первой и второй группах должно показать их идентичность, иначе не обеспечивается условие рандомизации. Раз­личие между итоговым замером в первой группе, где производился предварительный замер, и итоговым замером в третьей группе, где итогового замера не было, свидетельствует о реактивном эффекте, угрожающем внутренней валидности.

Во второй и четвертой группах одинаково отсутствует экспе­риментальное воздействие, в то время как во второй группе про­изводилось предварительное наблюдение, а в четвертой нет. Поэтому различие между итоговыми наблюдениями также может означать реактивный эффект, т. е. воздействие на итоговый замер замера предварительного.

Экспериментальный план с контрольной группой без предвари­тельного замера. Если распределение экспериментальной и конт­рольной групп проведено без предварительного замера и группы хорошо рандомизированы, достаточно итогового замера, чтобы уве­ренно судить о влиянии независимой переменной на зависимую.

Схема данного плана напоминает сравнение нерандомизированных групп, однако обеспечивает значительно большие возможности кон­троля внутренней валидности. В отличие от плана Соломона она применяется в тех случаях, когда предварительное тестирование невозможно или нежелательно по причине реактивного эффекта. Предположим, в исследовании проверяется влияние расистских идей, пропагандируемых органами массовой информации, на националис­тические предрассудки. Отобраны две группы реципиентов. Одной продемонстрирована расистская радиопередача, а другой — нет. Затем проводится тестирование, и различия в величине индекса будут свидетельствовать о влиянии передачи на установки испытуемых. Предварительное тестирование изменило бы установки тех, кто не слушал расистскую радиопередачу.

Перекрестный квазиэкспериментальный план предусматривает при­менение экспериментальных воздействий одновременно ко всем группам испытуемых в случайном или квазислучайном порядке.

Результаты экспериментальных серий по каждой группе сумми­руются и сравниваются друг с другом. Можно также сопоставлять суммарные измерения по каждой серии отдельно. Подобная схема избавлена от существенных нарушений внутренней валидности, свя­занных с влиянием группы и порядком применения эксперименталь­ной переменной. Чем больше групп, тем выше надежность измерений. Обычно такого рода квазиэкспериментальные планы применяются в случаях, когда осуществляется работа с естественными нерандомизи­рованными группами (например, воинскими подразделениями, сту­денческими группами, бригадами).

В социологических исследованиях используется экспериментальный план с предварительным и итоговым замерами. Рандомизация здесь осуществляется ориентировочно, путем выделения эквивалентных групп.

Одна группа проходит предварительный замер, другая — итого­вый. Различия между результатами могут быть невалидными вслед­ствие влияния фоновых признаков. Обычно этот недостаток компен­сируется повторением эксперимента. Более серьезную опасность представляет влияние инструмента, в частности «эффект интервьюе­ра». Использовать в массовых опросах эквивалентные случайные выборки вряд ли возможно, хотя это решило бы проблему влияния интервьюера. В длительных экспериментальных наблюдениях состав респондентов обычно меняется. Поскольку исследования такого рода проводятся на больших «естественных» массивах, их внешняя валидность выше, чем в «чистых» лабораторных экспериментах.

Квазиэкспериментальный план с временной серией и контрольной группой пригоден при интерпретации реформ как экспериментальной переменной.

Если в учреждении или сообществе проводятся реформы, то в качестве контрольной группы надо найти аналогичные учреждение или сообщество. Разумеется, такая возможность случается очень редко. Экспериментаторы предпочитают иметь дело со школьными и студенческими группами. Внутренняя валидность эксперимента обес­печивается временными рядами, а внешняя — репрезентативностью обследованных «гнезд».

V.Примеры экспериментов: