Определение и виды эксперимента. Основные принципы экспериментирования в социальных науках  

Определение и виды эксперимента. Основные принципы экспериментирования в социальных науках

Экспериментальный метод пришел в социальные науки из естественных наук, где он примерно с XVII века стал основным способом опытной проверки науч-

1 Эти общие правила индуктивного вывода были сформулированы еще Дж. С. Миллем в «Системе логики» (1843).

2 При отсутствии четких представлений о механизме причинной связи переменных (или отдельных событий) А и В единственным разумным основанием для построенного на опытных данных вывода о направлении причинной зависимости служит их последова­тельность во времени. Предшествование во времени—необходимое (но не достаточ­ное) условие причинного воздействия А на В.


ных теорий3. Самым популярным видом эксперимента в точных науках был и остается лабораторный эксперимент, получивший распространение также в науках о человеческом поведении.

Лабораторный, или истинный, эксперимент нацелен на проверку теоретичес­кой гипотезы и осуществляется в условиях максимального контроля над уров­нем воздействия независимой переменной и очищения (изоляции) этого воз­действия от посторонних влияний, оказываемых внешними, т. е. иррелевант-ными с точки зрения проверяемой гипотезы, переменными. Экспериментальный контроль и изоляция позволяют отвергнуть иные возможные объяснения на­блюдаемого эффекта— конкурентные гипотезы. Немаловажным условием обо­снованности, валидности результатов, получаемых в лабораторном эксперимен­те, является возможность достаточно надежного измерения зависимой пере­менной. В этом случае при бесконечном количестве испытаний результаты неизбежных случайных возмущений в зависимой переменной «погасят» друг друга и исследователь получит точную оценку интересующего его воздействия.

На практике описанные требования к истинному эксперименту могут быть пол­ностью воплощены лишь в бесконечном идеальном эксперименте, при прове­дении которого внешние, так называемые экзогенные переменные остаются неизменными, и изменяется лишь независимая переменная, что обеспечивает полную валидность выводов о изучаемом соотношении между независимой и зависимой переменными4. Идеальный эксперимент—это эталон, относитель­но которого могут оцениваться и сопоставляться эксперименты реальные, од­нако буквальное выполнение всех его требований обычно невозможно или даже бессмысленно с точки зрения конкретной научной задачи, стоящей перед ис­следователем.

Дональд Кэмпбелл приводит в качестве примера эксперимент Николсона и Карлслайла, которые продемонстрировали явление гидролиза, всего лишь «взяв в мае 1880 г. образец воды в районе Сохо (образец очень частный, характерный для местных условий и данного периода) и опустив в него весьма специфичный кусок медной проволоки, по которой пропускался электрический ток...» Влиянием посторонних факторов (прежде всего примесей) на протекание гидролиза в данном эксперименте можно было пренебречь, так как целью было подтверждение теоретически предска­занной закономерности, а не измерение скорости гидролиза или изучение особенностей его протекания в различных средах5.



В социальных науках от лабораторного эксперимента принято отличать поле­вой эксперимент, проводимый в естественных условиях и в большинстве слу­чаев имеющий своей целью не столько проверку научной гипотезы о причин-

3 Справедливости ради следует отметить, что торжеству экспериментального метода в естественных науках немало способствовало совершенство некоторых технических приемов и устройств, позаимствованных из донаучной традиции алхимиков. После­дняя также уделяла большое внимание опытному знанию (как манифестации сверхчув­ственного знания) и активно использовала эксперименты-демонстрации или экспери­менты, ориентированные на практические цели, если можно считать практической це­лью получение гомункулуса или философского камня.

4 См.: Петухов В. В. Словарь экспериментатора II Готтсданкер Р. Основы психологи­ческого эксперимента. М.: Изд-во МГУ, 1982. С. 454.

5 Кэмпбелл Д.. Модели экспериментов в социальной психологии и прикладных исследо­ваниях: Пер. с англ./Сост. иобщ.ред.М.И.Бобневой.М.: Прогресс, 1980. С. 207—208.


ной связи между переменными, сколько оценку эффективности различных про­грамм или методов воздействия.

Для многих прикладных социологических исследований, ориентированных на разработку и оценку социальных программ, социальное экспериментирование столь же типично, сколь типичны лабораторные эксперименты для социальной психологии или социологии малых групп. Социальное экспериментирование позволяет ответить на самые разнообразные вопросы, относящиеся преимуще­ственно к сфере практической политики и администрирования — например, как влияет отмена смертной казни на показатели преступности, растет ли посе­щаемость музеев при снижении цен на входные билеты, во всех ли случаях повышение размера вознаграждения ведет к росту производительности тру­да и т. п.



Например, в исследовании воздействия детского сериала «Улица Сезам» на культурное и интеллектуальное развитие американских дошкольников6 полевой эксперимент охватил детей и родителей, проживавших в городах (Бостон, Дарэм, Феникс), а также в сельских районах Калифорнии и Фи­ладельфии. В ходе эксперимента детей и их родителей побуждали к про­смотру сериала (независимая переменная), фиксируя изменения в когни­тивном развитии дошкольников с помощью тестов достижений и тестов общего развития (зависимые переменные). Двухлетний полевой экспери­мент позволил продемонстрировать заметный обучающий эффект, связан­ный с просмотром сериала, особенно очевидный в группе детей из небла­гополучных семей.

Полевой эксперимент—ведущий метод ориентированных на практику оценоч­ных исследований (evaluative research)7. Однако далеко не всегда оценка эффек­тивности новой, компьютеризованной системы обучения или, скажем, нового танкового прицела происходит в реальных полевых условиях. Иногда исследо­ватели проводят эксперимент в условиях, имитирующих реальность или даже представляющих некоторые особенности реальной ситуации—обучения, вож­дения танка и т. п. —в преувеличенном, «очищенном» виде. Р. Готтсданкер пред­ложил различать два типа полевых экспериментов —эксперименты, дублирую­щие реальный мир (т. е. уже описанные «натурные» эксперименты), и экспери­менты, улучшающие реальный мир8. Эксперименты, улучшающие реальный мир, прежде всего позволяют повысить валидность и надежность данных. Так, данные «натурного» эксперимента по эффективности нового метода обучения вождению автомобиля будут подвержены влиянию множества трудноконтро­лируемых различий в условиях видимости, ландшафте, состоянии дорог и ис­пользуемых автомобилей, тогда как данные тренажерных испытаний будут мень­ше подвержены такого рода смещениям. Кроме того, надежность эксперимента в «улучшенных» условиях также повысится за счет возможности контролиро­вать частоту «встречного движения» на экране тренажера, соблюдать четкий временной режим, исключающий утомление оператора, и т. д.

*'Цит. по: Bogatz G. A., Ball S. (eds.). The Second Year of Sesam Street: A Continuing Evaluation. Princeton (N. J.): Educational Testing Service, 1971. Vol. 1—2. II Riecken H. W., Boruch R. F. (eds.) Social Experimentation: A Method for Planning and Evaluating Social Intervention. N. Y., 1974. P. 306—307.

7 Об оценочных исследованиях см. в частности: Стародубцев С. П. Оценочные иссле­дования: первое знакомство // Социологические исследования. 1992. № 7. С. 60—62.

8 Готтсданкер Р. Основы психологического эксперимента. М.: Изд-во МГУ, 1982.


Для того чтобы понять, чем руководствуются социологи, осуществляя выбор одного из перечисленных видов эксперимента и конкретного плана построения экспериментального исследования, нам следует сначала рассмотреть ключевые понятия и принципы, лежащие в основе современного подхода к социальному экспериментированию.

Суммируя вышеизложенное, можно сказать, что в лабораторном эксперименте обоснованность выводов экспериментального исследования, т. е. инвалидность и надежность, обеспечиваются благодаря трем принципам планирования экс­перимента: 1) контролю над уровнем независимой переменной, 2) изоляции основного эффекта (т. е. собственно воздействия независимой переменной на зависимую переменную) от влияния посторонних, смешивающих факторов, а также 3) многократному воспроизведению полученных результатов, которое позволяет нивелировать случайные изменения результата9 отдельных испыта­ний, связанные с несистематическими колебаниями фона, случайными ошиб­ками, усталостью и т. п. При этом первые два принципа планирования лабора­торного эксперимента позволяют обеспечить валидность как соответствие эксперимента его цели, измерение именно того эффекта, который предполага­лось измерить. Идеальный, т. е. совершенно валидный эксперимент, фиксирует лишь то отношение между переменными, которое и планирует изучить экспе­риментатор, и «отсекает» любые другие источники систематической вариации результатов. Валидность эксперимента, следовательно, определяет достовер­ность выводов о наличии либо отсутствии предполагаемой причинной связи и о подтверждении либо неподтверждении проверяемой в эксперименте теорети­ческой гипотезы (рис. 7). Третий приницип обеспечивает надежность результа­тов—защиту от случайной ошибки, являющуюся, как говорилось выше, необ­ходимым условием валидности.

Однако большая часть экспериментов в социальных науках (как, впрочем, и в ряде инженерных дисциплин или агробиологии) происходит в условиях, когда перечисленные принципы не могут быть реализованы полностью. Возникаю­щие здесь ограничения имеют технический, а иногда—скорее принципиаль­ный характер. Если, например, в социологическом эксперименте независимы­ми переменными служат раса или социальное происхождение, то мы даже тех­нически—не говоря уже о соображениях морали—не можем осуществлять полный контроль над этими переменными, т. е. совершенно произвольно опре­делять их значение для каждого отдельного случая (субъекта). И даже если бы эту трудность можно было бы каким-то образом преодолеть на время проведе­ния испытаний, нам было бы трудно изолировать интересующий нас основной эффект от влияния сопутствующих, «закоррелированных» с независимой пере­менной факторов, — связанного с расой или происхождением специфического социального опыта, соответствующих социальных навыков и т. п. (Со схожими трудностями сталкивается и агробиолог, оценивающий урожайность нового сорта пшеницы и пытающийся отделить главный фактор от прочих, также вли­яющих на урожайность: различий в освещенности опытных участков, в соста­ве почвы и т. п.)

Знаменитый английский статистик Р. Фишер первым обосновал возможность применения несколько иного подхода к планированию полевых эксперимен-

9 Случайные изменения результата, т. е. фиксируемое в конкретном испытании значе­ниезависимой переменной, которое собственно и характеризует основной эффект,— воздействие независимой переменной на зависимую (или отсутствие такового).


тов, лабораторных экспериментов с неполным контролем, а также квазиэкспе­риментов (о последних речь пойдет позднее). Этот подход основан на целе­направленном использовании законов случая и теории вероятности. Он требует введения в планирование эксперимента принципа рандомизации.

Рандомизация—это стратегия случайного распределения субъектов по раз­личным условиям (режимам) эксперимента и экспериментальным группам.

Воспользуемся в качестве иллюстрации тем же простым примером психофизи­ческого опыта, которым пользуется сам Фишер при обсуждении роли приници-па рандомизации в планировании эксперимента10.

Представим себе, что некая леди взялась угадать, в какие четыре из восьми чашек чая с молоком сначала налили молоко, а в какие—чай. Эксперименталь­ная гипотеза состоит, таким образом, в том, что испытуемая обладает описан­ной способностью различения. Если воспользоваться простейшей формулой из комбинаторики, то общее число способов выбрать четыре чашки из восьми равно числу размещений А:

Иными словами, если бы испытуемая не обладала способностью отличать «мо-лочно-чайные» чашки от «чайно-молочных» и прибегла к случайному угадыва­нию, то вероятность правильно определить 4 чашки составила бы '/70 (и3 70 существующих различных способов выбрать 4 чашки из 8 лишь один является правильным). Говоря точнее, при достаточно длинной серии испытаний часто-

10 Fisher R. A.. The Design of Experiment. 3"1 ed. L.: Oliver and Boyd, 1942. P. 17—-19.


та правильных ответов приближалась бы к '/70- Если же частота правильных ответов существенно, с точки зрения избранного статистического критерия, превышает частоту случайного угадывания, то мы вправе сделать вывод о том, что интересующая нас специальная способность действительно существует.

Однако описанная схема испытания явно не соответствует тем требованиям, которые предъявляются к уровню контроля над переменными и изоляции ос­новного эффекта в лабораторном эксперименте. Возможные угрозы валиднос-ти наших статистических выводов носят довольно очевидный характер. Во-первых, мы не обладаем никакими средствами прямого измерения зависимой переменной—способности вкусового различения. Правильные угадывания— это лишь косвенные индикаторы такой способности и могут отражать влияние «посторонних» переменных, даже превосходящее основной эффект. Если, на­пример, во все чашки, в которые сначала было налито молоко, был добавлен сахар, ясно, что все они будут безошибочно опознаны. Статистические выводы о значимости окажутся, таким образом, невалидными, т. е. не имеющими отно­шения к нашей экспериментальной гипотезе (хотя и подтверждающими конку­рентную гипотезу о способности распознавать сладкий вкус). Систематическое постороннее влияние, составляющее угрозу валидности статистического выво­да, может носить и другой характер: «молочные» и «чайные» чашки могут от­личаться друг от друга толщиной, температурой, цветом. Чтобы устранить пе­речисленные угрозы валидности и нивелировать возникающие систематичес­кие смещения, экспериментатор должен использовать принцип рандомизации, т. е. обеспечить случайный порядок предъявления стимулов-чашек и их оцен­ки, определяемый, например, с помощью таблицы случайных чисел или жре­бия. В идеале и отбор испытуемых для каждой серии опытов, и распределение уровней независимой переменной между чашками («молоко-чай» или «чай-молоко») должны основываться на законах случая.

При планировании конкретного экспериментального исследования описанные принципы находят воплощение при разработке плана, или схемы, эксперимен­та, определяющего порядок предъявления испытуемым (или их группам) раз­личных уровней (условий) независимой переменной для адекватной проверки экспериментальной гипотезы 11.

Основные экспериментальные планы с контрольной группой и рандомизацией

В социологии, психологии и других поведенческих науках особую роль играет использование принципа рандомизации при распределении испытуемых по груп­пам. В эксперименте с неполным контролем или в полевом эксперименте, про­исходящем в естественных условиях (т. е. в условиях школьного класса, про­мышленной организации, городского района и т. д.) часто нужно доказать не только наличие ожидаемого эффекта в результате некоторого воздействия^, но и отсутствие того же эффекта в тех случаях, когда воздействия не было. Например, исследователь, изучающий воздействие просмотра антивоенных фильмов на изменения установок студентов, случайным образом отбирает из некоторой совокупности студентов экспериментальную группу, которой будет

11 Петухов В. В. Указ. соч. С. 446.


показан антивоенный фильм, а также контрольную группу, которой он проде­монстрирует нейтральный фильм, никак не связанный с изучаемыми установ­ками. План этого простейшегорандомизированного эксперимента с предва­рительным и итоговым тестированием и контрольной группой (RTi.^C) будет выглядеть таким образом:

R О1 Х О2 R Оз О4

где./?—процедура рандомизации (случайного распределения по группам), О, д— уровни установок в экспериментальной группе до и после просмотра фильма X, С?з,4—уровни установок в контрольной группе, не смотревшей фильма. Ис­пользование контрольной группы позволяет устранить некоторые важнейшие угрозы валидности эксперимента. Во-первых, если бы исследователь отказался от использования контрольной группы и ограничился тестированием, т. е. из­мерением установок «до-после» просмотра, то обнаруженные изменения в уров­не установок можно было бы приписать влиянию на испытуемых самого по себе факта участия в эксперименте. Испытуемые, возможно, осознавали, что они отобраны для важного исследования и стремились некоторым образом со­ответствовать своей роли и оправдать некие гипотетические «ожидания» экс­периментатора. Описанная угроза валидности широко известна и для нее суще­ствует несколько обозначений. В психологическом тестировании и эксперимен­тальной психологии это называют «эффектом морской свинки» или «мотивом экспертизы». Иногда применяют термин, возникший в медицине, где при кли­нических испытаниях новых фармакологических средств и методов лечения часто наблюдают «эффект плацебо», т. е. заметное улучшение статуса у многих участников контрольной группы, в которой вместо реального воздействия ис­пользовались индифферентные средства и нейтральные врачебные манипуля­ции. В социологии самое популярное обозначение систематического смещения, возникающего из-за реакции испытуемых на ситуацию эксперимента — это «хо-уторнский эффект».

В так называемых хоуторнских экспериментах (по названию промышлен­ного предприятия в Чикаго) исследовались организационные и социаль­но-психологические факторы, влияющие на производительность труда. Исследователи обнаружили, что эффект роста производительности труда в бригадах сохранялся даже при отсутствии собственно эксперименталь­ного воздействия. Предположительной причиной этого явления был рост группового самосознания у участников эксперимента '2.

«Хоуторнский эффект»13—это угроза валидности, связанная с особенностями экспериментальной группы.

Еще одна угроза валидности выводов, которую позволяет преодолеть описыва­емый план эксперимента, также связана с особенностями групп, а именно— с процессом отбора для участия в эксперименте. Если бы мы отказались от предварительного тестирования и случайного распределения испытуемых по экспериментальной и контрольной группам, мы совершили бы методическую ошибку, весьма характерную для любых экспериментов с добровольцами. Очень

12 См.: Roethlisberger F. G., Dickson W. J. Management and the Worker. Cambridge: Harvard University Press, 1939.

13 «Хоуторнский эффект», который, следуя выработанному в естественных науках об­разцу разрешения споров о приоритете, можно было бы именовать «хоуторнским эф­фектом плацебо, данного морской свинке при проведении экспертизы»...


часто исследователи отбирают испытуемых для участия в специальной про­грамме обучения или в новаторском организационном проекте, основываясь на изъявленном ими желании, а затем сравнивают результаты, показанные участ­никами оцениваемой программы, с результатами какой-либо другой доступной группы (или даже случайной выборки из соответствующей генеральной сово­купности), не участвовавшей в такого рода программе. Однако такое сравнение некорректно: само по себе желание участвовать в эксперименте часто свиде­тельствует о изначально более высокой мотивации, осведомленности или ин­теллекте. Эти факторы сами по себе, или взаимодействуя с главной независи­мой переменной^, могут объяснить значимые различия в результатах, показан­ных экспериментальной группой. В только что описанном примере сравнение группы добровольцев, пожелавших посмотреть антивоенный фильм, с прочи­ми студентами, может вести к завышенной оценке воздействия просмотра, если добровольцы изначально проявляют больший интерес к политическим пробле­мам. Лишь случайное распределение добровольцев по контрольной и экспери­ментальной группам при соблюдении «непрозрачности» такого распределения для всех испытуемых (участники обеих групп должны считать, что они подвер­гаются некоторому экспериментальному воздействию) позволяет судить о роли независимой переменной Х в возникновении межгрупповых различий 14.

Вышеописанные угрозы валидности связаны преимущественно с особенностя­ми групп, проявляющимися на стадии отбора или в ходе эксперимента. Однако рандомизация позволяет справиться и с некоторыми угрозами валидности, ис­ходящими от переменных внешнего окружения, фона. К фоновым относятся, в частности, «возможные влияния времени года или событий, возникающих на институциональном уровне», а также факторы естественного развития — «все те биологические или психологические процессы, которые независимо от кон­кретных внешних событий систематически изменяются с течением времени»15. Испытуемые взрослеют, обучаются, устают, улучшают свои результаты при повторных тестированиях и т. п., что может сказываться на их результатах. Од­нако если такие посторонние влияния не оказывают избирательного воздей­ствия только на членов экспериментальной группы, они будут вносить вклад лишь в случайную ошибку, а не в систематическое смещение. Иными словами, они будут с равной вероятностью распределены между случайным образом ото­бранными участниками контрольной и экспериментальной групп. План типа RTj.^C позволяет обеспечить случайный и равновероятный характер внешних, фоновых воздействий на контрольную и экспериментальную группу. Более того, он позволяет «вычесть» величину фонового влияния и оценить чистый основ­ной эффект: если внешнее влияние все же имело место, оно в равной степени подействовало на показатели и экспериментальной, и контрольной групп; сле­довательно, разность между средними значениями первого и второго замеров уровня зависимой переменной в контрольной группе (О4 - 03) нужно вычесть

14 Сама процедура случайного распределения может быть осуществлена аналогично процедуре построения простой вероятностной выборки с использованием таблицы слу­чайных чисел (см. гл. 7). Если единицы отбора—отдельные испытуемые, классы, го­родские районы — имеют тенденцию к естественной группировке, либо эксперимента­тор особенно заинтересован в сравнении малочисленных подгрупп, то можно исполь­зовать вероятностные процедуры с кластеризацией и стратификацией.

15 Кэмпбелл Д. Указ. соч. С. 51.


из аналогичной разности значений зависимой переменной, зафиксированной в экспериментальной группе (О2 - О1), т. е.:

|Х|=(О2 - О1) - (О4 - О3), при этом предварительное и послеэкспериментальное тестирование в экспери­ментальной и контрольной группах должны проводиться практически одновре­менно.

Систематическая угроза валидности, связанная с фоновыми факторами, может все же возникнуть и при использовании рандомизации и контрольной группы. Это происходит тогда, когда фоновые факторы взаимодействуют с независи­мой переменной (или некоторыми ее уровнями). Природу такого взаимодей­ствия легко понять на примере исследования, в котором изучается влияние тре­вожности, возникающей в ситуации неопределенности, на успешность реше­ния сложных задач. В такого рода экспериментах для создания ситуации неопределенности и повышения реактивной тревожности (независимые пере­менные) часто используют неясные инструкции, косвенные негативные оцен­ки действий испытуемого, высказываемые лицами, проводящими эксперимент (типа «Ну-ну, посмотрим, как Вы сможете это использовать»), а также предва­рительные серии, где испытуемому приходится решать заведомо неразреши­мые задачи. Разумеется, всем этим воздействиям (X) подвергаются лишь члены экспериментальной группы. Если испытуемые—это студенты, которым в силу случайного стечения обстоятельств через неделю предстоит сдавать экзамены, или сотрудники подразделения фирмы, ожидающие скорой переаттестации, то эти факторы «фона» будут взаимодействовать с независимыми переменными, не только суммируясь с ними, но и усиливая их эффект. Негативные подкрепле­ния, получаемые в ходе эксперимента, будут восприниматься значительно ост­рее накануне экзаменационной сессии или переаттестации, а связанная с этими событиями фоновая тревожность и неопределенность будет взаимодействовать с тревожностью и неопределенностью, создаваемыми преднамеренно.

Оценить чистый эффект взаимодействия с помощью сравнения с результатами контрольной группы вышеописанным способом в данном случае невозможно, так как взаимодействие фоновых смещений с основным эффектом происходит лишь там, где имеет место экспериментальное воздействие X. В контрольной группе приближающееся неприятное событие также может повлиять на резуль­таты итогового замера или даже обоих замеров, но оно не будет взаимодейство­вать, «перемножаться» с воздействием независимой переменной (такое взаимо­действие можно описать в более точных терминах, однако это требует введения некоторых статистических понятий, см., в частности, с. 73—74). Для оценки величины взаимодействия фоновых смешивающих переменных с основным эф­фектом нужны более сложные экспериментальные планы. Некоторые из них будут обсуждаться ниже.

Иногда имеет смысл воспользоваться упрощенным вариантом описанного пла­на с рандомизацией и контрольной группой, а именнопланом с рандомизаци­ей без предварительного тестирования (RTC), который схематически выгля­дит следующим образом:

R Х О1 R О2

Привлекательность этого плана заключается прежде всего в его экономичнос­ти. Если при распределении испытуемых между группами и уровнями воздей-


ствия использовалась истинная вероятностная процедура16, то проведение пред­варительного тестирования — как в плане RT1-2C — лишь увеличивает стоимость эксперимента, не оказывая существенного влияния на качество получаемых данных. По сути, правильно осуществленная рандомизация (R)—это наилуч­шая гарантия отсутствия изначального смещения между группами (т. е. равен­ства исходных среднегрупповых значений зависимой переменной О в конт­рольной и экспериментальной группах). Кроме того, в широкомасштабных со­циологических исследованиях, а также в прикладных исследованиях в области педагогики и социальной работы, проведение и предварительных, и повтор­ных измерений зависимой переменной (политических установок, криминаль­ного поведения и т. п.) часто неосуществимо либо ведет к возникновению реак­ции на саму процедуру тестирования. Если, к примеру, мы изучаем влияние участия в предвыборной групповой дискуссии на последующую поддержку политических партий, то предварительное измерение политических установок может повлиять на активность опрошенных в ходе самой дискуссии и их пос­ледующие установки.

Можно заключить, что план RTC предпочтителен всегда, когда нежелательно повторное предъявление весьма специфичных по содержанию и схожих по форме тестов, вопросов, измерительных процедур. Иными словами, этот план заслуживает широкого применения в социологических и оценочных исследо­ваниях. Кроме того, он является самым приемлемым средством проведения так называемых методических экспериментов, в которых оценивается эффектив­ность различных видов опроса, способов заполнения и форматов анкет и т. п. (примером такого методического эксперимента является описанное в главе «Массовые опросы» исследование Бредберна и Судмана, в котором эффектив­ность метода «случайного ответа» сравнивалась с эффективностью использо­вания данных административной статистики). План RTC использовался, в час­тности, в одном из практически ориентированных социальных экспериментов по совершенствованию системы правоохранительных и пенитенциарных уч­реждений, проводившихся в США в 1960-70-е гг.

В 1961 г. Федеральное бюро пенитенциарных учреждений США начало трехлетний эксперимент, целью которого было изучить воздействие под­держивающего консультирования и специальных реабилитационных про­грамм на поведение мальчиков-подростков, находящихся в исправитель­ных учреждениях. Местом проведения эксперимента стала специальная школа-колония для несовершеннолетних правонарушителей .

При проведении рандомизации мальчиков случайным образом распреде­ляли между отрядами, где проводился эксперимент, и отрядами, служив-

16 Самая распространенная ошибка, совершаемая исследователями при проведении ран­домизации в эксперименте,—замена случайного распределения попарным уравнива­нием, когда, скажем, к двум пожилым домохозяйкам со средним образованием в экспе­риментальной группе подбирают двух пожилых домохозяек в контрольной группе и т. д. Попарное уравнивание может вести к таким же неконтролируемым смещениям, как и использование квотной выборки (см. гл. 7). Иногда в случаях, когда отбор производит­ся внутри команд, школьных классов и других естественных группировок, попарное уравнивание после разбиения группы пополам допустимо, если приписывание групп к контрольным или экспериментальным условиям будет проводиться случайно. Однако в двумерном эксперименте (типа «есть воздействие—нет воздействия») такой под­ход неприемлем, т.к. ведет к резкому снижению статистических свойств получае­мых оценок.


шими контрольными (каждый отряд жил в отдельно расположенном кор­пусе). В экспериментальных отрядах было увеличено количество воспи­тателей, проводились специальные индивидуальные и групповые консуль­тации, использовалась система вознаграждений за хорошее поведение. В контрольных группах применялись обычные методы воспитания и обу­чения, а также традиционные наказания за нарушение внутреннего распо­рядка. Результаты эксперимента показали, что мальчики из эксперимен­тальных групп раньше покидали спецшколу, лучше успевали в учебе, вели себя адаптивнее. Не было обнаружено значимых различий в показателях рецидивной преступности для подростков из экспериментальных и конт­рольных групп, освобожденных из школы-колонии, однако ребята из экс­периментальных групп значительно отличались от ребят из контрольных групп по показателю тяжести вновь совершенных преступлений (первые, в случае рецидива, совершали менее тяжкие преступления). По результа­там эксперимента было принято решение о внедрении эксперименталь­ной коррекционной программы во всех подразделениях школы 17.

Еще один популярный план с рандомизацией и контрольной группой—это план Соломона18.План Соломона—это расширенный вариант плана RT1-2C, позво­ляющий проконтролировать и оценить эффекты естественного развития и фона, а также определить взаимодействие эффекта тестирования с основ­ным воздействием X. Здесь наряду с экспериментальной и контрольной груп­пами с предварительным тестированием используются экспериментальная и контрольная группы без предварительного тестирования (как в плане RTC). Схематически это выглядит следующим образом:

Очевидно, что если главный эффект Х реален, то даже при наличии существен­ного эффекта тестирования («хоуторнского эффекта») будут выполняться четы­ре неравенства: О2>О1, О2>О4, О5>О6; О5>О3. Оценкой сравнительной вели­чины эффекта предварительного тестирования (без взаимодействия с Х) может служить величина разности О6 - О3. Сравнение O6, с О1 и О3 позволяет оценить влияние фоновых факторов и факторов естественного развития 19.

До сих пор мы обсуждали содержательные аспекты проверки эксперименталь­ной гипотезы о наличии главного эффекта X с помощью различных планов эк­сперимента, а также преимущества разных планов для обеспечения разных ас­пектов валидности. Очевидно, однако, что в каждом конкретном эксперименте величина главного эффекта, т. е. наблюдаемого различия результатов экспери­ментальной и контрольной группы, будет варьировать не только под воздей­ствием независимой переменной, но и просто в результате действия различных случайных возмущений. Конечно, если бы наш эксперимент был идеален и аб­солютно надежен (см. выше), то при каком угодно числе повторений мы бы

17 Federal Bureau of Prisons. Rational Innovation: An Account of Changes in the Program of the National Training School for Boys from 1961—1964. Washington (D. C.), 1964. Цит. по:

H. W. Riecken, R. F. Boruch (eds.) Social Experimentation. N. Y.: Academic Press, 1974.

18 Впервые описан в статье Р. Соломона. См.: Solomon R. L. An Extension of Control Group Design // Psychological Bulletin. 1949. Vol. 46. № 1. P. 137—150. 19 См.: Кэмпбелл Д. Указ. соч. С. 88—89.


всегда получали одну и ту же истинную оценку величины воздействия (при отсутствии или контроле смешивающего влияния дополнительных переменных). Однако реальные эксперименты — особенно, как уже говорилось, эксперимен­ты в социальных науках — не бывают и не могут быть идеальными и безупреч­но надежными. Следовательно, перед исследователем всегда стоит задача ста­тистической оценки значимости полученных результатов. Вероятностным «воплощением» содержательной экспериментальной гипоте­зы являетсястатистическая гипотеза. Принятие или непринятие статисти­ческой гипотезы—необходимое, но недостаточное условие принятия или от-вержения содержательной гипотезы, проверяемой в эксперименте. Проверяе­мая в конкретном эксперименте статистическая гипотеза всегда формулируется как гипотеза о том, что при бесконечном количестве повторений этого экспери­мента среднее различие между экспериментальной и контрольной группами (или между воздействием разных уровней независимой переменной) равнялось бы нулю. Такую статистическую гипотезу, фактически сводящуюся к утверж­дению о случайном характере наблюдаемых в реальном эксперименте разли­чий, называют нулевой гипотезой, или нуль-гипотезой (Н0). Отвержение или неотвержение нуль-гипотезы позволяет говорить о том, что в данном экспери­менте содержательная гипотеза подтвердилась, либо подтвердилась противо­положная ей альтернативная гипотеза, либо не было получено подтверждения ни одной из них.

Вспомним воображаемый эксперимент Фишера с чаем и молоком, описанный в начале главы. Мы отмечали, что при использовании тактики случайного угады­вания испытуемая смогла бы правильно определить последовательность напол­нения чашки примерно в 1 случае из 70. Следовательно, 2 «попадания» из 100 даже при очень большом количестве испытаний едва ли могут считаться значи­мым результатом. Куда достовернее выглядят 90 или даже 95 «попаданий» из 100 (оставшиеся «ошибки» можно отнести на счет действия случайных факто­ров). Чтобы определить уровень значимости и построить доверительный ин­тервал в этом случае достаточно метода, описанного в главе 8.

Вообще, критерии значимости и статистические методы, используемые при проверке статистической гипотезы для конкретного плана эксперимента, назы­вают статистическими моделями. Для планов с контрольной группой основ­ная статистическая модель—это использование t-критерия, о чем подробнее говорится чуть ниже. Для более сложных планов многомерных или факторных экспериментов, общий обзор которых дается в следующем разделе главы, веду­щие статистические модели—это дисперсионный анализ и использование F-критерия Фишера.

Итак, для того чтобы оценить статистическую значимость в элементарных ран­домизированных планах, описанных выше, нам необходимо проверить стати­стическую гипотезу о разности средних значений зависимой переменной в кон­трольной <


opticheskie-svojstva-dispersnih-sistem.html
opticheskij-apparat-glazarogovicahrustaliksteklovidnoe-telo-stroenie-i-funkcii.html
    PR.RU™