существует вероятность неграмотного проведения исследования. Самый общий вывод, который можно сделать на основе этих результатов (то есть уровень внешней валидности), заключается в том, что исследования в целом имеют некоторые погрешности, которые проявляются при изучении эффекта ожидания.
Зная о причинах искажения, можно предложить способы сведения их к минимуму. Если участники исследования, которые будут проводить тестирование, недостаточно опытны, они, естественно, должны пройти тщательную подготовку. В этой подготовке следует акцентировать внимание на проблеме стандартизации, так как отклонение от стандарта — это первый шаг к искажению. Если есть возможность, экспериментаторов нужно не только обучить проведению стандартной процедуры, но и периодически проверять их работу, дабы удостовериться в том, что в ходе исследования она не стала небрежной, Нет необходимости говорить, что повышение оплаты за получение желательных результатов неприемлемо. Кроме того, исследователь должен избегать дифференцированного использования неденежного вознаграждения — например, выражение одобрения, когда экспериментатор сообщает о желательных результатах, и неудовольствия — при отсутствии таковых. Поскольку эффект необъективности обусловлен ожиданиями, нельзя допускать, чтобы у экспериментаторов сформировались четкие представления о том, каковы должны быть результаты исследования. Иногда с этой целью экспериментаторов держат в неведении относительно гипотез, проверяемых исследованием, и статуса испытуемых (например, экспериментальная или контрольная группа). Это метод «слепого эксперимента, который рассматривался в главе 4.
Хотя предложить способы предотвращения необъективности экспериментатора довольно просто, воплотить их на практике не всегда легко. В частности, иногда бывает трудно устроить «слепой» эксперимент или «слепое» наблюдение. В некоторых случаях ведущий исследователь (то есть человек, разработавший план исследования) тоже тестирует испытуемых, что, естественно, исключает возможность эксперимента, «слепого» в отношении гипотез. В других случаях было бы несерьезно надеяться на то, что у экспериментаторов, даже не обладающих никакой информацией об исследовании, не сформируются гипотезы о его целях и возможных результатах. Во многих ситуациях от экспериментатора невозможно скрыть статус испытуемого. Экспериментатор, к примеру, не спутает 3-летнего ребенка с 5-летним или мальчика с девочкой, а знание возраста или пола испытуемого может вызвать предвзятое отношение. Стоит отметить, что исследователи, работающие в области психологии развития, фактически всегда обладают информацией о своей главной независимой переменной — о возрасте испытуемого. Наконец, даже тогда, когда проведение «слепого» тестирования возможно, оно часто не используется. При обзоре журналов (таблица 1.3) учитывалось, использовались ли «слепой» эксперимент или «слепое» наблюдение там, где это было необходимо. Только 63% исследователей сообщили об использовании этого приема.
Ранее мы поставили под сомнение внешнюю валидность исследований необъективности экспериментатора. Суть вышесказанного сводится к тому, что результаты этих исследований не стоит слишком быстро сбрасывать со счетов как ограниченные искусственностью созданной экспериментальной ситуации. Несомненно, эффекты необъективности экспериментатора существуют. Как чисто они имеют место и сколько ложных выводов явилось их следствием — спорный вопрос. Цель исследователя — предупредить подобные споры в отношении своего исследования, то есть при планировании и проведении исследования, а также при сообщении его результатов сводить к минимуму вероятность необъективности экспериментатора.
Большая часть этой главы была посвящена проблемам, которые могут возникнуть при работе с испытуемыми. В некоторых случаях эти проблемы столь серьезны — а также столь очевидны, — что сохранить данные какого-то испытуемого не представляется возможным. Выбывание или отсев испытуемых может происходить по ряду причин, обсуждавшихся в этой главе, — из-за неприемлемого отступления от стандартной процедуры со стороны экспериментатора, из-за крайне высокой реактивности со стороны испытуемого, из-за жесткой, непреодолимой установки испытуемого на определенный ответ. Кроме того, некоторые группы испытуемых и некоторые виды исследования могут создавать особые проблемы, приводящие к выбыванию даже при идеальном проведении исследования. Маленький ребенок может уснуть или расплакаться в ходе проведения эксперимента. При проведении лонгитюдного исследования испытуемые могут переехать в другую местность или умереть.
Главное, что следует запомнить об отсеве испытуемых, это то, что его нужно свести к минимуму. Отсев может вызвать ряд затруднений. С практической точки зрения, он связан с напрасной потерей времени и экспериментатора, и испытуемого. Если количество выбывших существенно, исследователь может остаться с выборкой, слишком маленькой для того, чтобы делать какие либо выводы. Наконец — и самое главное, — избирательное выбывание ставит под сомнение валидность исследования. Эта проблема рассматривалась в главе 3. Уход испытуемых действительно часто бывает избирательным и характерен для наименее компетентных, наименее мотивированных, наименее склонных к сотрудничеству с незнакомыми людьми и т. п. Такое выбывание может отразиться на внешней валидности или возможности генерализации результатов, поскольку исследователь будет изучать совсем не ту популяцию, на которую он хочет перенести свои выводы. Если выбывание зависит от возраста испытуемых или от экспериментальных условий, оно может отразиться и на внутренней валидности.
Методы минимизации выбывания можно вывести из описанных в этой главе проблем и соответствующих рекомендаций. Здесь стоит напомнить два общих принципа. Во-первых, до начала тестирования детей, особенно дошкольного возраста, с ними нужно установить доверительные отношения. Во-вторых, до начала осуществления исследования желательно провести пилотажные проверки в том объеме, в котором это необходимо. Исследователь, методики которого не подходят для большинства испытуемых, вероятно, просто проигнорировал фазу пилотажной проверки.
Помимо сведения к минимуму количества выбывших у исследователя есть еще две задачи. Во-первых, он должен заранее определить максимально объективный критерий отказа от испытуемого. С самого начала исследователю нужно иметь четкие представления о том, какое поведение испытуемого делает невозможным использование полученных результатов. Конкретные критерии будут разными в разных исследованиях; при изучении младенцев это может быть сон или плач; при изучении дошкольников — неудачное выполнение вербального претеста; при изучении старших детей и взрослых — распознание испытуемым обманного приема экспериментатора. Суть в том, что если сначала собрать все данные испытуемого, проверить, согласуются ли они с выдвинутой гипотезой, и только затем побеспокоиться о критериях выбраковки данных, можно получить искаженные результаты. Опасность заключается в том, что исследователь может легко поддаться соблазну сохранить результаты, согласующиеся с его ожиданиями, и исключить те результаты, которые с ними не согласуются.
О второй задаче мы уже упоминали в главе 2: предоставление точных данных о критериях выбраковки данных испытуемых и о количестве выбывших испытуемых. Как было сказано в главе 2, эта задача не всегда выполняется: подобная информация содержалась только в 50 % журнальных статей. Эта цифра говорит о некотором прогрессе, учитывая, что в обзоре, представленном в первом издании этой книги, данный показатель составлял 36 %. Тем не менее она оставляет желать лучшего.
Следует отметить еще один момент. Я постоянно подчеркиваю необходимость сохранения как можно большего количества испытуемых. Это, однако, не означает, что рыдающего младенца или перепуганного дошкольника нужно принудить продолжать участие в эксперименте. Против подобного образа действий можно выдвинуть два аргумента. Во-первых, результаты таких испытуемых вряд ли будут иметь какую-либо ценность. Во-вторых, что более существенно, как мы увидим в главе 8, важнейшим этическим принципом исследования, проводимого на людях, является право испытуемого в любой момент выйти из эксперимента. Этим правом, как любой другой испытуемый, обладает и не умеющий говорить младенец. А права испытуемых всегда стоят выше желаний экспериментатора.
В этой главе рассматривается воплощение абстрактного исследовательского плана в конкретную процедуру. В ней анализируются проблемы, которые могут возникнуть при работе с испытуемыми, а также способы их разрешения.
