НарКом - СТАНДАРТНЫЕ ОПРЕДЕЛЕНИЯ: Систематическое описание диспозиционных кодов и коэффициентов результативности для массовых опросов

Перевод стандарта Американской ассоциации исследователей общественного мнениния: Standard definitions: Final dispositions of case codes and outcome rates for surveys (2004).

СТАНДАРТНЫЕ ОПРЕДЕЛЕНИЯ: Систематическое описание диспозиционных кодов и
коэффициентов результативности для массовых опросов

(Американская ассоциация исследователей общественного мнения. 3-е изд. 2004 год)*

«Стандартные определения» постоянно дорабатываются; это уже третье издание. Американская ассоциация исследователей общественного мнения (AAPOR) планирует продолжать работу по корректировке стандартов посредством добавления к ним новых методик сбора данных, а также внесения необходимых уточнений. AAPOR сотрудничает с другими организациями, оказывающими содействие распространению и использованию «Стандартных определений». AAPOR стремится к сотрудничеству с компаниями, разрабатывающими программное обеспечение для компьютерного ассистирования телефонного интервью (CATI). Некоторые из этих компаний уже высказали согласие включить стандартные определения и формулы в свои программные отчеты. AAPOR также предлагает академическим журналам использовать стандарты AAPOR для отбора и публикации статей. Некоторые журналы, включая “Public Opinion Quarterly” и “International Journal of Public Opinion Research”, уже приняли это предложение.

Первое издание (1998) основывалось на работе комиссии, возглавлявшейся Томом В. Смитом. В состав комиссии входили следующие члены AAPOR: Барбара Бэйлер, Майк Купер, Дональд Дилман, Роберт М. Гроувс, Уильям Д. Калсбик, Джек Людвиг, Питер В. Миллер, Гарри О’Нил и Стенли Прессер. Второе издание (2000) вышло под редакцией Роба Дэвиса, возглавлявшего группу исследователей, в которую входили: Дженис Балоу, Пол Дж. Лавракас, Дэвид Мур и Дэвид Смит. Лавракас координировал описание исследований почтовых опросов отобранных респондентов, а также переработку предыдущего издания. Рабочая группа благодарит Дона Дилмана и Дэвида Демерса за их комментарии к проекту второго издания. Настоящее, третье, издание (2004) редактировал Д. Смит, возглавивший комиссию, в которую вошли Дэвис, Лавракас, Меркл и Купер. Новый материал о комплексных выборках в значительной мере подготовлен Робертом Гроувсом и Майком Бриком.

Секретариат AAPOR может предоставить желающим копию стандарта, а также других публикаций AAPOR без оплаты (за исключением перевозки и доставки). Стоимость каждой следующей копии документа составляет 2,5 доллара США. Связаться с представителем AAPOR можно по электронной почте AAPOR-INFO@goAMP.com или по телефону (913) 310–0118. С данным стандартом, а также с другими докладами и документами AAPOR можно ознакомиться в Интернете на сайте www.aapor.org

Настоящий стандарт разработан AAPOR в качестве вспомогательного инструмента для исследований общественного мнения и проведения массовых опросов. Нет никаких ограничений на цитирование стандарта. AAPOR рекомендует использовать следующее библиографическое описание:

The American Association for Public Opinion Research. 2004. Standard Definitions: Final Dispositions of Case Codes and Outcome Rates for Surveys. 3rd edition. Lenexa, Kansas: AAPOR.

Долгое время исследователи, проводившие массовые опросы, нуждались в универсальных и надежных инструментах для понимания того, в чем заключаются ошибки опроса. Некоторые из них, такие, как случайная ошибка выборки, относительно легко рассчитываются и широко известны специалистам по опросным технологиям. Другие, такие, как влияние формулировок вопросов на ответы, – измеряются не столь просто. Р. Гроувс [Groves, 1989] выделил три основные группы ошибок, которые могут встречаться в выборочных исследованиях. В первую группу входит неполнота охвата генеральной совокупности (coverage), возникающая в результате того, что некоторые ее элементы не имеют шанса попасть в выборку. Вторая группа связана с эффектом измерения, возникающим, когда опросный инструмент или его составная часть приводят к получению ненадежных или невалидных данных. Третья — с эффектами неответов, возникающими тогда, когда группа нереспондентов, то есть лиц, не попавших в выборку, отличается от респондентов по наиболее значимым для исследователя переменным.

Определение окончательных диспозиционных кодов и расчет коэффициентов результативности — основной предмет настоящего стандарта. Часто с большим или меньшим основанием предполагают: чем ниже коэффициент ответов, тем более сомнительна валидность выборки. Хотя ограничиваться информацией лишь о коэффициенте ответов – крайне неэффективный способ для оценки величины ошибки неответов даже тогда, когда она действительно присутствует в исследовании, расчет коэффициента ответов – важнейший первый шаг для понимания потенциальной возможности ее возникновения. Располагая информацией о состоянии всех элементов выборочной совокупности, исследователь может оценить как вероятность ошибки неответов, так и ее причины.

В этом стандарте AAPOR предлагает новый инструмент, который может применяться для обеспечения одного из важнейших аспектов качества выборки. Это целостный, хорошо разработанный способ описания окончательных состояний элементов выборки и подсчета коэффициентов результативности для телефонных, персональных (проводимых в местах проживания респондента) и почтовых (в которых элементы выборочной совокупности определяются по спискам потенциальных респондентов) опросов. В третьем издании стандарта коды, обозначающие недоставку корреспонденции в почтовом опросе, заимствованы из документации Почтовой службы Соединенных Штатов (USPS) на 2000 год.

AAPOR надеется внести существенное изменение в практику проведения массовых опросов, которое заключается в стандартизации кодов, используемых для составления списка состояний (диспозиций) элементов выборочной совокупности. Для этого требуется, чтобы исследователи приняли единую терминологию и перешли на один общий язык. AAPOR призывает исследователей применять предлагаемые коды во всех отчетах, имеющих отношение к опросным методам, независимо от того, составлены ли они для частного сектора, государственных или научных учреждений. Это позволит исследователям найти единые основания для сравнения коэффициентов результативности, полученных в разных опросах.

Линней заметил, что «метод – это душа науки». Ранее имели место попытки методического определения коэффициентов ответа и диспозиционных категорий. Наиболее удачная из них представлена в специальном докладе «Об определении коэффициентов ответа», опубликованном Советом американских исследовательских организаций (CASRO) в 1982 году. Члены AAPOR, участвовавшие в написании настоящего стандарта, при разработке формул и определений для диспозиционных категорий опирались на доклад CASRO 1982 года.

В дополнение к проделанной ранее работе в настоящем стандарте учтены последние технологические новшества. Специалисты в области массовых опросов, особенно те, кто организует телефонные интервью, сталкиваются с огромным количеством проблем (например, экспансия сотовой связи или внедрение других телекоммуникационных технологий), оказывающих непосредственное влияние на коэффициенты ответов. В настоящем стандарте учтены подобные нововведения, что позволяет более точно определять коэффициенты результативности и проводить корректные сопоставления коэффициентов ответов, полученных в разных исследованиях.

На данный момент стандарт описывает лишь три вида выборочных исследований: телефонный опрос, основанный на методе случайного генерирования телефонных номеров (RDD), персональные интервью, проводимые по месту жительства респондентов, и почтовые опросы по заранее составленным спискам имен потенциальных респондентов. Существуют и другие способы проведения опроса. В последующих изданиях AAPOR предполагает расширить стандарт посредством добавления других наиболее распространенных методов, например Интернет-опросов. В стандарте предложена общая схема для описания диспозиционных кодов и расчета коэффициентов результативности, которую логично применять и для других видов опросов. При создании комплексных описаний могут упускаться из виду какие-либо частности. Например, дальнейшее развитие телекоммуникационных технологий требует введения дополнительных диспозиционных кодов. AAPOR ожидает, что общие принципы настоящего стандарта будут приняты в индустрии массовых опросов, а перечень конкретных методов скорректирован и дополнен другими способами проведения выборочных исследований.

Каждому из трех способов сбора данных, посвящен отдельный раздел.

Представлены обновленные, подробные и точные определения для четырех основных диспозиций массового опроса: интервью, нереспонденты, отсутствие информации о соответствии критериям выборки и наличие случаев несоответствия критериям выборки.

Представлены три таблицы, содержащие окончательные диспозиционные коды: первая для телефонного опроса, организованного по методу случайного генерирования номеров (RDD), вторая – персонального интервью по месту жительства, третья – почтового опроса по именному списку адресатов.

Предлагаются операциональные определения и формулы для подсчета коэффициентов ответов, кооперации, отказов и контактов. Ниже приведены некоторые основные определения, которые подробно обсуждаются в стандарте:

Коэффициент ответов – количество законченных интервью, поделенное на количество всех единиц наблюдения, удовлетворяющих критериям выборки. В стандарте представлены шесть вариантов коэффициента ответов, ранжированных от минимального до максимального значения, что определяется тем, как интерпретируются прерванные интервью и случаи, по которым отсутствует информация о соответствии или несоответствии критериям выборки.

Коэффициент кооперации – это отношение опрошенных ко всем единицам наблюдения, удовлетворяющим условиям выборки, с которыми удалось связаться. В стандарте представлены четыре варианта коэффициента кооперации, ранжированных от минимального до максимального значения.

Коэффициент отказов – это отношение тех домохозяйств или отдельных респондентов, которые отказались от участия в опросе или прервали интервью, ко всем потенциально удовлетворяющим условиям выборки единицам наблюдения. В стандарте представлены три варианта коэффициента отказов, различающиеся в зависимости от интерпретации случаев, по которым отсутствует информация о соответствии критериям выборки.

Коэффициент контактов – отношение всех случаев, в которых удалось связаться с ответственным членом домохозяйства, ко всем попавшим в выборку единицам, удовлетворяющим заданным условиям. В стандарте предлагается три варианта коэффициента контактов.

Предлагается библиография для тех, кто хочет лучше понять влияние неслучайных ошибок (смещений) на результаты массовых опросов.

Представлена вся необходимая информация для расчета коэффициентов результативности. Совет AAPOR настаивает на том, что следует раскрывать абсолютно все коэффициенты, а не ограничиваться лишь выборочными. Это важнейшее условие для оценки качества исследования. Совет предупреждает, что не существует коэффициента, который бы полностью отражал качество проведенного опроса. Исследования только тогда будут соответствовать стандарту AAPOR о минимальном раскрытии информации (Кодекс профессиональной этики и практики, часть III), когда наряду с другой раскрываемой информацией в них будут приведены окончательные диспозиционные коды, составленные в соответствии с настоящим стандартом. Окончательные диспозиционные коды и коэффициенты результативности, предлагаемые AAPOR, приведены в конце настоящего стандарта.

AAPOR учитывает, что стандарт будет применяться в самых различных ситуациях. Назначение стандарта заключается в предоставлении доступных для понимания базовых определений и оснований для анализа ошибок, возникающих в исследовании. Особенно полезными для практиков, которые намерены следовать предложенным рекомендациям (использовать стандартные формулы и определения), будут таблицы 1–3, приведенные в последней части стандарта.

Существует много схем для классификации результатов обращения к потенциальному респонденту. Наша комиссия рассмотрела более двух десятков классификаций и не нашла двух одинаковых. Количество основных категорий, по которым различались классификации, варьировало от семи до двадцати восьми. Многие коды были разработаны для конкретного исследования, зачастую отсутствовало четкое определение кодов и возможность их сопоставления с кодами других исследований [1].

Для того чтобы избежать путаницы в диспозиционных кодах и обеспечить возможность сопоставления этих кодов и рассчитанных на их основе коэффициентов результативности, AAPOR предлагает стандартизированную систему классификаций для окончательного размещения попавшей в выборку единицы, а также ряд формул для расчета коэффициентов на основании диспозиционных кодов.

Подробная регистрация окончательного диспозиционного статуса всех выборочных единиц особенно важна при документировании исследования и определении коэффициентов результативности. Такой отчет столь же необходим, сколь необходима Главная книга в бухгалтерии банка или предприятия. Отталкиваясь от этого предположения, мы структурировали окончательные диспозиционные коды так, как это принято в бухгалтерском учете — в табличных формах [Frankel, 1983; Madow, et al., 1983]. Мы исходим из того, что хорошо документированный массовый опрос подобен хорошо организованному бизнесу [2].

Единицы исследования могут быть разделены на четыре основные группы:

б) единицы, соответствующие критериям отбора, у которых не взято интервью (нереспонденты);

в) единицы, про которые не известно, соответствуют ли они критериям отбора;

г) единицы, которые не соответствуют критериям отбора.

Последующее изложение и таблицы, размещенные в конце стандарта, организованы таким образом, чтобы отражать эти четыре группы. Хотя данная классификация может в дальнейшем уточняться (некоторые примеры подкатегорий упоминаются в тексте), возможные окончательные диспозиции должны размещаться в одной из указанных групп.

Первая часть и таблица 1 описывают метод случайного генерирования номеров телефонов (RDD), принадлежащих домохозяйствам.

Вторая часть и таблица 2 посвящены персональным интервью, проводимым по месту проживания респондентов. Обычно такие интервью организуются по адресам, полученным из базовой основы выборки. В данной интерпретации целевая группа для этого метода сбора информации – члены домохозяйств (как правило, взрослые). Предложенные коды могут быть адаптированы для других популяций и групп, представляющих интерес (например, учащиеся школ, сотрудники компаний, городские бизнес организации).

Третья часть и таблица 3 описывают почтовые опросы отобранных адресатов. Почтовые опросы зачастую довольно сложны, и во многих случаях трудно определить, соответствуют ли единицы исследования критериям отбора. Предполагается (см. табл. 3), что конкретный человек, попавший в основу выборки, является единицей выборки и, соответственно, только его можно считать респондентом, то есть другой человек, например, занявший должность первого в какой-то организации, не подходит для такого вида почтового опроса. Предполагается также, что исследователь должен получить некоторую информацию об отобранном адресате, например, о том, что он жив и может вернуть заполненную анкету.

Все три части содержат много избыточных данных. Мы пошли на это для того, чтобы дать возможность исследователям, интересующимся лишь одним способом сбора данных, не читать стандарт полностью.

Стандарт допускает объединение категорий, если это не меняет правила расчета коэффициентов результативности. Например, отказы и прерванные интервью могут кодироваться как (2.10), а не посредством разных кодов (2.11) и (2.12); ситуации, описываемые кодами (2.312.34) могут кодироваться как (2.30). Укрупнение кодов допустимо тогда, когда последние не приводят к неопределенности в расчетах коэффициентов результативности. Например, ни один коэффициент не зависит от дифференциации неконтактов (2.212.25), поэтому, если исследователь хочет ограничить количество категорий, может применяться один общий код (2.20). Укрупнение категорий не приводит к переопределению групп и не отменяет требование четкого описания подкатегорий, которые не кодируются отдельно (например, прерванные интервью).

Как было отмечено выше, более детализированные коды могут быть полезны как для общих, так и специальных исследований. Это требует введения подкатегорий, раскрывающих категории, представленные в таблицах 13. Если исследователь хочет объединить несколько размещенных в разных частях таблицы подкатегорий, он должен записать общие категории в отдельной классификационной системе или ввести дополнительные подкоды к двум или более уже существующим кодам.

Классификации окончательных диспозиций в опросе включают коды, которые в большей мере отражают временные статусы, например:

- сделано максимально допустимое число звонков;

- в течение периода сбора данных не было повторного звонка;

Временные диспозиции зачастую определяются особенностями конкретной системы CATI и операций по сбору данных, поэтому необязательно обсуждать их в настоящем стандарте. Они должны быть заменены окончательными диспозиционными кодами, перечисленными в таблицах 13, когда в конце исследования становится известным окончательный результат.

Конвертирование временных кодов в окончательные диспозиционные следует проводить по определенным правилам. Временные диспозиционные коды должны отражать результат конкретной попытки обращения к респонденту, выполненной до завершения работы с ним. Во многих организациях диспозиционные коды смешиваются с кодами, описывающими действия. Коды действия характеризуют не результат обращения, а статус единицы наблюдения после очередной попытки и перечень шагов, которые затем следует предпринять, например:

- сделано максимально допустимое количество обращений;

В каждом случае такие коды указывают не на результат последнего обращения, а на дальнейшие действия (соответственно, отказ от последующих обращений, повторные обращения и, наконец, решение супервайзера о переходе к следующему этапу). Таким образом, коды действий очень важны с точки зрения менеджмента опросов, однако они не должны использоваться как описывающие обращение, временные диспозиционные коды. Коды действий основаны на информации о статусе единицы наблюдения, собираемой в ходе опроса. Они отражают историю работы с конкретной единицей наблюдения, а также показывают итоговый статус и следующий шаг, который должен быть сделан в отношении этой единицы.

Категория «посмотреть супервайзеру» или в некоторых случаях другой код – «потенциальная проблема» — представляют особый случай. Подразумевается, что интервьюеру следует проконсультироваться с супервайзером перед тем как выбрать код для регистрации результата обращения (в некотором роде временный код временного диспозиционного кода). Как правило, в таких случаях следует выбрать код «другое» и подробно описать ситуацию. Если же вместо этого принимается решение обратиться за помощью к супервайзеру, то следует использовать коды действий, а не временные диспозиционные коды.

Временные коды, которые могут быть включены в список окончательных диспозиционных кодов:

Непроведенные интервью, соответствующие критериям отбора:

2.13a – неопределенное назначение, респондент**;

Нет информации о соответствии критериям отбора непроведенных интервью:

* Здесь содержатся две подкатегории – отказ / назначение, при которых респондент неизвестен и отказ получен от нереспондента.

** Например, когда респондент / кто-то другой просит перезвонить в другое время, но не указывает времени звонка.

На следующем шаге из наиболее часто встречаемых временных диспозиционных кодов следует выбрать окончательный диспозиционный код. При конвертации временных кодов в окончательные следует опираться на достоверную информацию о всех попытках установления контакта. При выборе окончательного кода из, возможно, противоположных вариантов следует принимать во внимание три фактора: 1) статусный день[3]*, 2) степень достоверности информации и 3) иерархию диспозиционных кодов [4].

Далее, когда в ходе нескольких обращений одной единице наблюдения присваиваются разные коды, необходимо учитывать, что произошло в наиболее показательный день (см. раздел ниже).

Во-первых, когда при попытках связаться с респондентом появляются различные коды, важно определить, какая ситуация имела место в «статусный день» (см. ниже: «Непроведенные интервью, соответствующие критериям отбора»). Например, если в жилом помещении никого не было в первые две недели полевого периода, в течение которых предпринимались попытки установить контакт с респондентом, а затем заселившиеся в дом новые жильцы отказались участвовать в опросе, то единица наблюдения должна быть определена как несоответствующая условиям отбора – пустое помещение (4.6), а не как отказ от интервью, поскольку установлено, что квартира была не занята в статусный день.

Во-вторых, пытаясь связаться с респондентом, исследователь может получить противоречивые данные (например, один сосед говорит, что квартира занята, тогда как другой утверждает, что в ней никто не живет). Если нельзя получить точную информацию, то исходя из консервативного принципа единицу наблюдения следует считать удовлетворяющей или скорее всего удовлетворяющей критериям отбора.

Наконец, существует иерархия диспозиционных кодов, в которые трансформируются временные коды. Если нельзя точно определить окончательный диспозиционный код, обычно в качестве такого кода принимается результат, полученный от последнего общения с человеком.

Следуя правилу «контакт с человеком определяет основной результат», отказ от интервью будет однозначно определяться в кодах как отказ, за исключением двух случаев: a) после получения отказа интервью все-таки взято; б) позднее получена информация о том, что человек не соответствует критериям отбора. Например, если после отказа производятся повторные звонки и телефон не отвечает, то единице не присваивается код «нет контакта» или «неработающий телефонный номер».

Аналогично, если договоренность о встрече не привела к интервью, временный код будет преобразован в окончательный как отказ даже тогда, когда отказ, с учетом обстоятельств, не был однозначно озвучен. При отсутствии явных свидетельств противоположного, мы рекомендуем всегда кодировать такие ситуации как отказ.

Если нельзя точно определить окончательный диспозиционный код и не было ни одного контакта с человеком, выбирается наиболее информативный код. Например, если при нескольких попытках были зафиксированы коды «телефон не отвечает» и «автоответчик», то выбирается код «автоответчик» (2.22 или 3.14). Если состоялось несколько разговоров и все они обладают одинаковой информативностью, то выбирается для кодирования результат последнего контакта.

Безусловно, помимо этих иерархических правил, надо учитывать статусный день и определение степени достоверности информации, упомянутые выше.

Различия между конкретными исследованиями могут заключаться в: а) нескольких временных или окончательных кодах; б) подкатегориях временных или окончательных диспозиционных кодов, описанных в табл. 13. Например, отказы могут быть классифицированы по нескольким группам: а) отказ респондента, б) прекращение переговоров по поводу интервью, в) отказ другого члена семьи, г) отказ члена семьи, когда респондент так и не установлен. Выделения разных видов отказов наиболее ценно тогда, когда исследуется процесс «передачи отказов» [Lavrakas, 1993].

Во-первых, все правила, по которым проводятся замены, должны быть документированы. Во-вторых, количество и содержание замен должны быть описаны. Замены внутри и вне домохозяйства следует описывать отдельно. В третьих, все случаи замен должны быть учтены в окончательных диспозиционных кодах. Например, если в первом домохозяйстве получен отказ, во втором – не удалось связаться ни с одним человеком и интервью проведено в третьем, тогда общее количество единиц наблюдения должно быть увеличено на два и все три случая описываются следующим образом: первый – отказ, второй – отсутствует резидент и третий – интервью. Кроме этого, такие случаи должны быть перечислены в отдельном отчете о заменах. Аналогичным образом описываются замены внутри домохозяйства: приводится количество замен, дается их подробное описание и составляется отдельный отчет о заменах. Процедура отбора респондента должна быть точно определена и не может быть нарушена в ходе опроса. Любые отклонения должны быть заранее перечислены в протоколе возможных замен и задокументированы таким же образом.

Любое привлечение информанта должно быть запротоколировано [6].

Во-первых, должны быть описаны правила привлечения информанта. Во-вторых, обстоятельства, которые сопровождали опрос информантов, а также их личные особенности, должны быть описаны. Любой файл с данными должен содержать точное различение между строками, составленными со слов информантов и респондентов. В третьих, окончательные диспозиционные коды полностью и частично завершенных интервью должны подразделяться на интервью с респондентами (1.11 или 1.21) и информантами (1.12 или 1.22). Опрос информантов в домохозяйствах, в которых а) один человек отвечает за всех членов семьи и б) любой внушающий доверие член домохозяйства является информантом, следует подробно запротоколировать и отдельно отметить, кто фактически был информантом. В финальных диспозиционных кодах и коэффициентах, рассчитанных по этим кодам, следует недвусмысленно отметить, что эти статистики отражают мнения информантов домохозяйств. Коэффициенты, основанные на ответах информантов, должны отличаться от коэффициентов, основанных на ответах случайным образом отобранных респондентов или лиц, обладающих особым статусом в семье (глава домохозяйства, ответственный за покупки и т. д.). Если статистика собирается одновременно на уровне респондентов и домохозяйств, окончательные диспозиции для обоих уровней должны быть описаны.

В комплексных исследованиях, таких, как панели, состоящие из нескольких волн, в которых списки предыдущего опроса используются в качестве основа выборки, диспозиционные коды и коэффициенты результативности должны рассчитываться как для каждого отдельного компонента исследования, так и кумулятивно. Например, в отчете о лонгитюдном исследовании, состоящем из трех волн, должны быть отражены диспозиционные коды и соответствующие коэффициенты для третьей волны (второе повторное интервью) и кумулятивные диспозиционные коды и коэффициенты результативности для всех трех волн. Аналогичным образом, в отчете о Национальном исследовании роста семьи 1995 года (NSFG), основанном на выборке женщин репродуктивного возраста, заимствованной из Обследования здоровья нации (NHIS), отражены результаты полевой работы в NSFG, а также включены подобные результаты из ранее проводимого исследования NHIS (например, рассчитаны неответы для NHIS и NSFG). См. раздел «Комплексный дизайн» настоящего стандарта.

Чтобы избежать разночтений, поясним, что телефонные опросы домохозяйств методом RDD (random-digit dialing — телефонный звонок по случайному номеру) основаны на случайной выборке в пределах некоторой геополитической области. Они организуются с привлечением одного из способов случайного генерирования номеров для составления списка телефонов. В стандарте используются определения домохозяйств, совместно проживающих групп и других смежных понятий, применяемые в переписях населения. Предполагается, что для участия в интервью выбирается только один «приемлемый» член домохозяйства. Для проведения отбора внутри домохозяйства может быть использована процедура Киша, один из методов «дня рождения» или любая другая систематическая процедура. (Заметим, что этот раздел и табл. 1 могут быть легко модифицированы для проведения RDD-опросов организаций, расположенных в некоторой геополитической области.)

Важно детально описать способ формирования RDD-выборки. Кроме того, нужно указать такие особенности построения выборки, как: а) обязательный отбор определенного минимального количества номеров из заданных некоторыми списками (например, по крайней мере один списочный номер из ста) б) выбор номеров организаций посредством сопоставления с базами данных, например «Желтыми страницами»; в) отбраковка неработающих номеров до передачи выборки интервьюерам; г) изменения или удаления, выполненные любым другим способом.

Как показано в таблице 1, интервью в телефонных опросах методом RDD делятся на две группы: a) завершенные (1.1) и б) незавершенные (1.2). В каждом исследовании должно быть предварительно точно определено, что понимается под завершенным и незавершенным интервью и какова разница между незавершенным и прерванным интервью (отказ после того, как интервью уже началось).

Наиболее часто применяются следующие стандарты для определения этих трех статусов: a) доля предлагаемых респонденту вопросов, на которые получены ответы; б) доля важных или существенных вопросов [7], на которые получены ответы; в) доля всех соответствующим образом заданных вопросов в интервью [Frankel, 1983]. Например, ниже приводятся стандарты, которые исследователи могут использовать для установления статуса интервью (завершенное, незавершенное, прерванное):

а) ответы получены на менее чем 50% анкетных вопросов (включая отказы и затруднения с ответом), что соответствует прерванному интервью, от 50% до 80% — незавершенному интервью, и более чем на 80% — завершенному интервью;

б) задано менее 50% анкетных вопросов, что соответствует прерванному интервью, от 50% до 80% — незавершенному интервью, более 80% — завершенному;

в) ответы получены на менее чем 50% важных или существенных вопросов (включая отказы и затруднения с ответом), что соответствует прерванному интервью, от 50% до 99% — незавершенному и 100% — завершенному;

г) перечисленные три способа могут применяться в разных комбинациях. Например, можно установить, что требуется получить ответы на 100% существенных и 80% остальных вопросов, чтобы считать интервью завершенным.

Хотя в стандарте не даны точные определения завершенного, незавершенного или прерванного интервью, в каждом опросе должны присутствовать предельно ясные и понятные их описания. Приемлемые критерии для этого приведены выше. Заметим, что чем менее строго определены завершенные и незавершенные интервью, тем большее количество неответов будет подпадать под эти категории.

Случаи, которые оценены как прерванные интервью и исключены из матрицы данных, не должны рассматриваться в качестве незавершенных интервью при расчете коэффициента ответов и других коэффициентов результативности.

Соответствующие критериям отбора единицы, у которых не удалось взять интервью, различаются по трем типам неответов: а) отказы и прерванные интервью (2.10); б) не установлен контакт (2.20); в) другие случаи (2.30). См. таблицу 1.

Отказы и прерванные интервью включают случаи, в которых соединение с домашним телефоном установлено и ответственный член домохозяйства [8] отказался участвовать в опросе (2.11) или после начала разговора прервал интервью (2.12 — различие между незавершенными и прерванными интервью см. выше). Другие важные различения, не все из которых приведены в табл. 1: а) от кого получен отказ — от установленного респондента (2.112) или другого члена домохозяйства (2.111); б) момент отказа / завершения интервью (например, перед или после представления интервьюера и до или после выбора респондента); c) причина прерванного интервью или отказа от участия в опросе.

Отсутствие контактов в RDD-опросах фиксируется тогда, когда получено подтверждение о том, что домохозяйство отвечает условиям выборки, но отобранный респондент остается недоступным (2.21) или соединение происходит только с автоответчиком, сообщение на котором подтверждает резидентность домохозяйства [9]* (2.22). Последний случай может быть разделен еще на два подслучая в зависимости от того, оставлено сообщение (2.221 — уведомление о том, что домохозяйство попало в выборку для проведения важного опроса и интервьюер будет перезванивать в другое время, или оставлены инструкции, куда может позвонить респондент) или нет (2.222).

Другие случаи (2.30) — это ситуации, при которых не было отказа от интервью, но его проведение невозможно: а) смерть респондента (2.31); б) физическая или ментальная неспособность респондента принять участие в интервью (2.32); в) языковые проблемы (2.33); г) другие причины (2.35).

Физиологические или ментальные причины, по которым респондент не может принять участие в опросе, делятся на постоянные (старость, слепота, глухота) и временные (пневмония, алкогольное опьянение). Временные причины могут быть устранены, если в период проведения опроса будут осуществлены дополнительные попытки связаться с респондентом [10].

Языковые проблемы определяются тогда, когда ни один из членов домохозяйства на момент установления с ними контакта не мог говорить на языке, на котором представлялся интервьюер (2.331), или выбранный респондент не говорит на языке, на котором проводится интервью (2.332), или у компании, проводящей опрос, нет ни одного интервьюера, знающего приемлемый в отобранном домохозяйстве язык (2.333).

К смешанному типу (2.35) могут относиться такие случаи, которые обусловлены другими причинами (2.30) или связаны с особыми обстоятельствами (например, молчание абонента, потеря записей, установленный позднее подлог).

Единицы, с которыми не удалось провести интервью и осталось неизвестным их соответствие или несоответствие критериям выборки (3.0), составляют случаи, в которых осталось неизвестным наличие подходящего резидентного домохозяйства по телефонному номеру, включенному в выборку (3.10), и случаи, в которых установлено, что домохозяйство существует, но неизвестно проживает ли в нем удовлетворяющий критериям выборки респондент (3.20).

В один класс неизвестных единиц в RDD-опросах входят включенные в выборку телефонные номера, по которым интервьюеры не звонили или после первой неудачной попытки не пробовали дозвониться в течение полевого периода (3.11). Такие номера рассматриваются как неприемлемые для включения в выборку. Однако если интервьюеры начинают по ним перезванивать, то все дополнительные звонки должны рассматриваться и кодироваться отдельно.

Другой класс неизвестных единиц в RDD-опросах состоит из следующих элементов: а) всегда занято (3.12); б) нет ответа (3.13); в) оставленное на автоответчике сообщение не позволяет определить, принадлежит ли телефон резидентному домохозяйству (3.14); г) на телефоне установлена система отбора или блокировки номеров или используются другие телекоммуникационные системы, не позволяющие дозвониться до абонента (3.15); д) технические проблемы связи, например, перегружена телефонная сеть, плохая телефонная линия, проблемы с оборудованием на телефонной станции и т. д. (3.16). Поскольку последние проблемы, как правило, относятся к временным, рекомендуется в течение полевого периода перезвонить по таким номерам. В каждом из указанных случаев недостаточно информации для того, чтобы рассматривать отобранные номера в качестве представляющих резидентные домохозяйства.

Если домохозяйство удовлетворяет критериям выборки, но нет информации о наличии в нем подходящего под выборку респондента (3.20), такие единицы обычно не рассматривают, поскольку не завершена процедура отбора (3.21). Даже тогда, когда срыв процедуры обусловлен «отказом», не следует применять такой код, пока не будет известно о наличии искомого респондента.

Наконец, категория «другое» (3.90) применяется для таких необычных случаев, в которых нельзя установить соответствие телефонных номеров выборочным критериям; отнести их к другим перечисленным выше категориям так же затруднительно.

Например, получен ответ по набранному номеру, но к телефону подошел неответственный член домохозяйства, или недостаточно информации, чтобы с уверенностью утверждать о приемлемости единицы наблюдения. Настойчивые исследователи, конечно, будут пытаться определить наличие подходящего выборочным условиям респондента в домохозяйстве. Если им это удастся сделать, то можно будет присвоить единице другой код.

Как и в любом исследовании, в RDD-выборки иногда попадают телефонные номера домохозяйств, которые расположены вне заданной геополитической области (4.10). Это обычно случается тогда, когда RDD-опрос проводится в относительно небольших областях: отдельных округах, городах, или районах.

В RDD-опросах в группу неприемлемых случаев включают: а) линии, на которых установлен факс / модем (4.20); б) неработающие или неподключенные номера; c) особые технологические условия (4.40), например пейджеры (4.44).

Линии, на которых установлен факс / модем (4.20), исключаются, когда они используются только для обмена факсами или электронными сообщениями. Однако линии, используемые в домохозяйствах отчасти как телефон и иногда для получения информации через модем, следует считать приемлемыми для проведения опроса [11].

Неработающие номера – это обычно номера, которые еще не закреплены за конкретным пользователем (типичным случаем являются еще не зарегистрированные номера) (4.31) или отключены у ранее зарегистрированного абонента (4.32). Также бывает полезно выделить в отдельный список абонентов, которые «временно не обслуживаются» (4.33). В зависимости от продолжительности исследования эти номера могут быть подключены до того, как закончится исследование, поэтому целесообразно время от времени перезванивать по ним. Такие диспозиционные коды (подгруппы 4.30) отличаются от кодов, фиксирующих технические проблемы (3.16). В последних случаях есть возможность дозвониться до домохозяйства, но этого не сделано или из-за технических проблем слишком плохая слышимость.

Для определения особых технологических случаев (4.40) должны быть разработаны специальные правила. Во-первых, изменение номера (4.41) – в определенное место уже нельзя дозвониться по прежнему номеру, но можно по другому – обычно приводит к исключению данной единицы из RDD-выборки. Обычно, когда домохозяйству присваивается новый телефонный номер, телефонная компания записывает голосовое сообщение по старому номеру, информирующее звонящего о новом номере абонента. Исследователи могут оставить такую единицу в выборке, позвонив по новому номеру и удалив старый. Если в результате «изменения номера» оказалось два номера, по которым можно дозвониться до домохозяйства, исследователь должен провести их взвешивание для корректировки возникшей неравной вероятности попадания в выборку, как если бы он дозвонился сразу по двум номерам.

Если есть желание включить в выборку такие измененные номера, по каждому доступному номеру следует спросить абонента, является ли его номер измененным и по скольким номерам можно дозвониться до его домохозяйства. Если номер оказался измененным, старый номер рассматривается как неприемлемый, поскольку домохозяйство доступно по новому номеру. В этом случае отсутствует необходимость введения весов. Такую процедуру легче применить на практике.

Номера мобильных телефонов (4.42) в зависимости от ситуации могут быть либо исключены из выборки, либо перевзвешены как многоканальные линии. Если мобильный телефон относится к одному домохозяйству, у которого нет «постоянного» телефона (проводной, закрепленной линии), номер мобильного телефона может быть признан единственным номером, принадлежащим домохозяйству. Если домохозяйство подключено к проводной связи, мобильный номер признается неприемлемым для проведения опроса.

Исследователи должны также определить правила, касающиеся переадресованных звонков (4.43). Если звонок переводится с одного номера на другой и эти номера принадлежат одному или разным домохозяйствам (4.431), то нет никаких проблем, за исключением необходимости перевзвешивания, чтобы уравнять шансы абонентов для попадания в выборку, несмотря на наличие нескольких линий у некоторых из них. Однако если звонок переадресован с рабочего телефона на домашний (4.432), первоначальный номер признается неприемлемым и интервью не проводится. Ситуация, когда звонок по отобранному номеру, попадающему в исследуемый район, переводится на номер, расположенный за пределами этого района, должна быть регламентирована дополнительными правилами.

В любом RDD-опросе домохозяйств большая часть из выбранных номеров приходится на недомашние (4.50), например, закрепленные за предприятиями или правительственными учреждениями (4.51) и не соответствующие условиям выборки. Некоторые номера принадлежат разным организациям (тюрьмы, диспансеры и проч. – 4.52), группам лиц, проживающим вместе (в военных казармах, помещениях для женских общин (sorority house) и проч. – 4.53). Интервьюерам должны быть предоставлены подробные инструкции, указывающие на признаки, которые позволяют говорить о несоответствии таких единиц условиям выборки [12]. Изредка один и тот же номер принадлежит и организации, и домохозяйству. Такие номера могут быть включены в выборку; неприемлемыми признаются лишь номера, принадлежащие только организациям.

Домохозяйства, в которых отсутствуют подходящие под выборку респонденты (4.70), редко встречаются в массовых опросах взрослого населения и в основном состоят из резидентов, не достигших 18-ти лет. Если не получена какая-либо дополнительная информация, всегда предполагается, что в домохозяйстве проживает кто-нибудь старше 18 лет. Но для выборок подгрупп (родители, проживающие с детьми, пенсионеры и т. д.) большая часть домохозяйств, попавших в выборку, могут не удовлетворять ее условиям, и наличие подходящего респондента в домохозяйстве не может изначально предполагаться. Такая категория (4.70) отличается от (4.10) тем, что отобранное домохозяйство в целом отвечает условиям выборки, но отсутствует подходящий респондент, тогда как в первом случае само домохозяйство не попадает в выборку.

В некоторых RDD-опросах применяются специальные скрининговые процедуры, позволяющие установить присутствие подходящего респондента в отобранном домохозяйстве (в электоральном опросе отбираются те, кто «скорее всего примет участие в голосовании»). В таких исследованиях в некоторых домохозяйствах не будут проживать удовлетворяющие выборочным условиям респонденты, что кодируется соответствующим образом (4.70).

Наконец, иногда RDD-метод применяется для отбора респондентов, относящихся к определенным подгруппам населения. В отличие от ситуации, в которой для определения соответствия выборочным условиям применяются скрининговые процедуры, здесь опрашивается заданное число респондентов (например, посредством квотирования) каждой подгруппы (молодые или пожилые женщины, молодые или пожилые мужчины). Как только квота подгруппы заполняется (что равно «закрытию» подгруппы), любое домохозяйство, в котором нет резидента, принадлежащего «открытой» подгруппе, рассматривается как несоответствующее критерию выборки (4.80).

Чтобы избежать разночтений, поясним, что в персональных интервью по месту жительства предполагается организация выборки среди домохозяйств, основа которой состоит из адресов некоторой геополитической области, посредством какой-либо техники случайного отбора. В «Стандартных определениях» используются определения домохозяйств, совместно проживающих групп и других смежных понятий, применяемых в переписях населения. Предполагается, что только один «приемлемый» респондент отбирается из домохозяйства для участия в интервью. Для проведения отбора внутри домохозяйства может быть использована процедура Киша, один из методов «дня рождения» или любая другая систематическая процедура. (Заметим, что этот раздел и таблица 2 могут быть легко модифицированы для проведения персональных опросов в организациях, расположенных в некоторой геополитической области.)

Как показано в таблица 2, интервью делятся на две группы: a) завершенные (1.1) и б) незавершенные (1.2). В каждом исследовании должно быть предварительно точно определено, что понимается под завершенным и незавершенным интервью и какова разница между незавершенным и прерванным интервью.

Наиболее часто применяются следующие стандарты для определения этих трех статусов: a) доля предлагаемых респонденту вопросов, на которые получены ответы; б) доля важных или существенных вопросов [13], на которые получены ответы; в) доля всех соответствующим образом заданных вопросов [Frankel, 1983]. Например, ниже приводятся стандарты, которые исследователи могут использовать для установления статуса интервью (завершенное, незавершенное, прерванное):

а) ответы получены на менее 50% анкетных вопросов (включая отказы и затруднения с ответом), что соответствует прерванному интервью, от 50% до 80% — незавершенному интервью, и более чем на 80% — завершенному интервью;

в) ответы получены на менее 50% важных или существенных вопросов (включая отказы и затруднения с ответом), что соответствует прерванному интервью, от 50% до 99% — незавершенному и 100% — завершенному;

Хотя в стандарте не даны точные определения завершенного, незавершенного или прерванного интервью, в каждом опросе должны присутствовать предельно ясные и понятные их описания. Приемлемые критерии для этого приведены выше. Заметим, что менее строгие определения завершенного и незавершенного интервью будут приводить к большему количеству неответов, попадающих под эти категории.

Отказы и прерванные интервью включают случаи, в которых соединение с домашним телефоном установлено и ответственный член домохозяйства [14] отказался участвовать в опросе (2.11.) или после начала разговора прервал интервью (2.12 — различие между незавершенными и прерванными интервью см. выше). Другие важные различения, не все из которых приведены в табл. 1: а) от кого получен отказ — от установленного респондента (2.112) или другого члена домохозяйства (2.111); б) момент отказа / завершения интервью (например, перед или после представления интервьюера и до или после выбора респондента); c) причина прерванного интервью или отказа от участия в опросе.

Ситуации, связанные с отсутствием контакта в персональных квартирных интервью, подразделяются на три типа: а) невозможно попасть в здание (2.23); б) никого нет дома (2.24); в) респондент уехал или недоступен (2.25). Вход в здание может быть невозможен из-за наличия охраны или закрытых наружных дверей. В этом случае исследователь должен определить, проживает ли в отобранном домохозяйстве подходящий респондент и возможно ли связаться с членами этого домохозяйства [15]. Аналогичным образом поступают в ситуации «никого нет дома», в которой не удалось связаться ни с одним членом домохозяйства, однако есть твердая уверенность, что в нем проживает удовлетворяющий критериям выборки человек [16]. Наконец, недоступность отобранного респондента означает, что получена информация, позволяющая определить, кто такой респондент, но у интервьюера нет возможности связаться с ним для проведения интервью.

В зависимости от времени проведения полевой части исследования случай смерти респондента может рассматриваться как вариант с нереспондентами или с респондентами, несоответствующими условиям выборки. Необходимо точно определить дату идентификации статуса (соответствие или несоответствие условиям выборки) единицы наблюдения. Обычно это день начала полевого этапа опроса или первый день, когда обнаружен данный случай. Таким образом, например, если человек был жив и в день установления статуса отобран в качестве респондента, но умер до завершения интервью, такой случай классифицируется как неответы из-за смерти (2.31). Аналогичные временные правила применяются для других статусов. Например, жилое помещение было заселено на дату идентификации статуса, а затем жильцы выехали до установления какого-либо контакта с ними, что позволяет отнести такой случай к «неконтактам» (2.20), а не к «пустому жилому помещению» (4.60). Следовательно, нельзя этот случай классифицировать как несоответствующий критериям отбора.

Физиологические или ментальные причины, из-за которых респондент не может принять участие в опросе, делятся на постоянные (старость, слепота, глухота) и временные (пневмония, алкогольное опьянение). Временные причины могут быть устранены, если в период проведения опроса будут осуществлены дополнительные попытки связаться с респондентом [17].

К смешанному типу (2.35) могут относиться такие случаи, которые состоят из некоторой комбинации категории «другое» (2.30) или связаны с особыми обстоятельствами (например, молчание абонента, потеря записей, установленный позднее подлог).

3. Нет информации о соответствии критериям отбора, интервью не проведены

Единицы, с которыми не удалось провести интервью и осталось неизвестным их соответствие или несоответствие критериям выборки (3.0), составляют случаи, в которых неизвестно, имеется ли подходящее домохозяйство (3.10), и случаи, в которых установлено, что домохозяйство существует, но неизвестно, проживает ли в нем удовлетворяющий критериям выборки респондент (3.20). В первую группу входят следующие подкатегории: а) не пытались связаться (3.11); б) невозможно добраться или небезопасная область (3.17); в) нельзя установить адрес (3.18). Единицы, по которым не проводилось никакой работы (3.11), включают адреса, попавшие в выборку, но по которым не работал ни один интервьюер из-за слишком короткого полевого периода исследования или запоздалого поступления инструкции о повторном обращении [18]. Единицы, которые невозможно достичь (3.17), включают те, которые расположены в отдаленной области, недоступной из-за погоды или других причин, и те, в которых небезопасно проводить интервью (высокий уровень преступности, массовые беспорядки). Проблемы с определением адреса (3.18) обычно связаны с сельскими поселениями, в которых описания выборочных единиц часто ошибочны (например, неправильное название улицы) или неадекватны, что не позволяет интервьюеру найти нужный дом (например, «красного цвета, на левой стороне рядом с центральным магазином»).

Ситуации, в которых нельзя определить, проживает ли подходящий респондент в отобранном домохозяйстве, часто являются результатом незавершенной процедуры отбора (3.21). Даже когда абсолютно точно известно, что срыв процедуры обусловлен «отказом», не следует применять такой код, пока не будет информации о наличии искомого респондента. Другие причины отсутствия такой информации связаны с недостатком данных на ключевых этапах процедуры отбора. Конечно, во многих исследованиях не придерживаются однозначной скрининговой процедуры для определения приемлемости респондента. В таких случаях диспозиционный код (3.20) не используется.

Наконец, категория «другое» (3.90) применяется для необычных случаев, в которых нельзя установить соответствие домохозяйств выборочным критериям; отнести их к другим перечисленным выше категориям также затруднительно.

Для персональных опросов по месту жительства выделяют следующие случаи несоответствия критериям отбора: а) единица исследования не попадает в выборку домохозяйств (4.10); б) нежилое помещение (4.50); в) пустое жилое помещение (4.60); г) в домохозяйстве нет подходящего респондента (4.70); д) выбрана квота (4.80).

Единицы, не попадающие в выборку (4.10), представляют собой не соответствующие выборочным критериям домохозяйства (например расположенные вне интересующей исследователя области), которые были ошибочно включены в адресные списки.

Код «нежилое помещение» относится к нерезидентным единицам, например, коммерческим компаниям, правительственным офисам и другим организациям (4.51); резидентным единицам, например, институтам (тюрьмы и диспансеры, 4.52); группам лиц, проживающим вместе (военные казармы, трудовые кампусы и т. д., 4.53). Классификация в этих подгруппах должна быть основана на наблюдениях или сведениях, полученных от местных жителей. Для проведения персональных интервью важно установить, что резидентная единица не принадлежит коммерческой организации или институту (спальные комнаты в заднем крыле магазина или жилые помещения для надзирателей в тюрьмах).

Пустое жилое помещение (4.60) – помещение, в котором никто не проживает на статусный день. В эту категорию входят незаселенные дома, квартиры, жилые автоприцепы, укрепленные на одном месте (4.61). Для временных, сезонных, используемых в отпускной период помещений (4.62) следует разработать четкие правила классификации, позволяющие отличать эту категорию от категории «никого нет дома» (2.24). В категорию «другое» (4.63) попадают необычные случаи и те, которые нельзя отнести к (4.61) или (4.62).

Домохозяйства, в которых отсутствуют подходящие под выборку респонденты (4.70), редко встречаются в массовых опросах взрослого населения и в основном состоят из резидентов, не достигших 18-ти лет. Если не получена дополнительная информация, всегда предполагается, что в домохозяйстве проживает кто-нибудь старше 18 лет. Но для выборок подгрупп (родители, проживающие с детьми, пенсионеры и т. д.) большая часть домохозяйств, попавших в выборку, может не удовлетворять ее условиям, и наличие подходящего респондента в домохозяйстве изначально не предполагается. Такая категория (4.70) отличается от (4.10) тем, что отобранное домохозяйство в целом отвечает условиям выборки, но отсутствует подходящий респондент, тогда как в первом случае само домохозяйство не попадает в выборку.

Наконец, в квотных опросах интервьюеры сталкиваются с домохозяйствами, где проживают люди, по которым квота полностью выбрана (4.80). Например, это домохозяйства, состоящие из одних женщин, когда гендерная квота по женщинам уже закрыта. Исследователи должны четко определить квоты и правила их заполнения.

Необходимо иметь ясное определение статуса всех случаев, имеющих отношение к окончательным диспозиционным кодам, описывающим несоответствие критериям отбора. Например, неудача при попытке застать кого-нибудь дома не должна классифицироваться как «пустое жилое помещение». Сведения от соседей, отсутствие внешних признаков жилья и т. д. следует учитывать при определении соответствия, возможного соответствия или несоответствия единицы условиям выборки. Обращаться к дополнительным источникам информации следует до тех пор, пока не станет абсолютно ясно, какую категорию присваивать случаю.

Почтовые опросы сильно различаются в зависимости от исследуемой генеральной совокупности, сущности и качества основы выборки. Кроме того, критерии включения единиц в выборку могут изменяться от одного дизайна к другому, что существенным образом влияет на оценку допустимых диспозиционных кодов.

В таблице 3 представлены коды для почтовых опросов адресатов, отобранных по именным спискам. Это значит, что только поименованный адресат может стать респондентом и требуется определенное подтверждение тому, что данный респондент проживает по выбранному адресу, или, другими словами, что он может быть включен в выборку. Примером служат списки зарегистрированных избирателей от определенной территории. Такая выборка будет состоять из зарегистрированных в данном сообществе лиц на момент составления списка избирателей. Для пригодности при конкретном почтовом опросе отобранные зарегистрированные избиратели должны проживать по адресам, отмеченным в списках, или же иметь право голоса в этом сообществе. Отсутствие ответов на почтовую рассылку говорит о том, что соответствующие адреса относятся к категории единиц, по которым нет информации о соответствии критериям отбора. Изменение кода возможно, только когда получено подтверждение, что отобранный адресат принадлежит сообществу, попавшему в выборку. Аналогичным образом коды разных почтовых возвратов, по которым нельзя определить, проживает ли выбранный человек по указанному адресу, относятся к категории неопределенных единиц.

При других типах почтовых опросов допущения могут быть иными. Для некоторых опросов можно считать, что отобранный адресат соответствует условиям отбора, даже если его статус не определен. Например, при проектировании выборки персонала компании, составленной по полным, точным и актуальным спискам всех работающих в данной организации. Как и прежде, только поименованный в списке человек удовлетворяет условиям отбора, однако отсутствие ответа на отправленную анкету означает присвоение ему кода «отказ от участия в опросе», а не «отсутствие информации о соответствии критериям отбора». Код почтового возврата, указывающий на отсутствие человека по отмеченному адресу, также не изменяет статус соответствия этого адресата критериям выборки (хотя можно проверить, является ли данный человек на момент опроса сотрудником компании). Подобным же образом организуются выборки без использования именных списков. Могут опрашиваться люди, занимающие определенные должностные позиции в организации (директор компании или лидер религиозного сообщества) или выполняющие какую-то функциональную роль в домохозяйстве (основной получатель дохода или человек, отвечающий за семейные покупки). Адекватность тех или иных допущений о соответствии критериям включения в выборку зависит от особенностей дизайна выборки.

Во всех примерах правила и критерии включения в выборку варьируются в зависимости от дизайна выборки. Некоторые коды почтового возврата могут быть отнесены к разным диспозиционным кодам в двух исследованиях, как это показано выше. Поскольку существует много разновидностей почтовых опросов, исследователи должны максимально точно описывать дизайн выборки, указывать используемые критерии отбора единиц исследования для предоставления достоверной информации о том, как строится выборочная совокупность.

В настоящей главе и таблице 3 «Стандартных определений» используется терминология, применяемая в Почтовой службе Соединенных штатов (USPS) для описания всех возможных случаев недоставки почты до адресата. Исследователи, работающие в других странах, при построении классификаций должны обращаться к кодам, используемым почтовыми службами этих стран. Коды, не относящиеся к USPS, должны соответствовать логике USPS, на которой построены «Стандартные определения».

В почтовых рассылках вернувшиеся анкеты равнозначны интервью в телефонных или личных опросах.

Вернувшиеся анкеты разделяются на две группы: а) заполненные (1.1) и б) частично заполненные (1.2). В каждом исследовании должно быть априорно задано, как различать полностью и частично взятое интервью; частично взятое и прерванное интервью.

Для описания этих трех состояний применяется три стандартных определения: а) доля всех вопросов, на которые получены ответы, б) доля важных и необходимых вопросов [19], на которые получены ответы, в) доля всех вопросов, предъявляемых респонденту [Frankel, 1983]. Ниже приведены примеры стандартов, которых могут придерживаться исследователи для различения полностью завершенного, частично завершенного и прерванного анкетного опроса:

а) ответы получены на менее чем 50% всех вопросов (по остальным вопросам нет ответа или отказы) – эквивалентно прерванному, на 50% – 80% – частичному и более чем на 80% — полному заполнению анкеты;

б) задано не менее 50% всех вопросов (по остальным вопросам – нет ответа или отказы) – это эквивалентно прерванному, 50–80% – частичному и более 80% — полному заполнению анкеты;

в) ответы получены на менее чем 50% всех важных вопросов (по остальным вопросам – нет ответа или отказы) – это эквивалентно прерванному, на 50% 80% – частичному и более чем на 80% — полному заполнению анкеты;

г) можно комбинировать приведенные выше варианты. Например, можно установить, что 100% ответов на важные вопросы и 80% на остальные соответствуют полностью заполненной анкете.

Хотя в стандарте не указаны однозначные определения полностью завершенного, частично завершенного и прерванного заполнения анкеты, в любом опросе они должны быть точно определены. Подходящие для этого критерии представлены выше. Безусловно, определения, указывающие на меньший процент полностью или частично завершенных интервью, будут приводить к росту расчетного количества неответов в данном исследовании.

Невозвращенные анкеты, соответствующие критериям отбора, отражают три типа неответов: а) отказы и прерывания (2.11), б) отсутствие контакта (2.20) и прочее (2.30) (см. табл. 3).

Отказы и прерывания устанавливаются, когда состоялся контакт с отобранным человеком или домохозяйством / бизнес единицей, в котором(ой) проживает / работает этот человек, и он или другой ответственный член домохозяйства / сотрудник организации отказался заполнить и вернуть анкету (2.11) или отправленная им анкета лишь частично заполнена с наличием пометки, указывающей на отказ респондента отвечать на дальнейшие вопросы (2.12 – см. выше о различии между частично заполненными анкетами и прерываниями). Кроме того, следует учитывать другие важные различения, не все из которых включены в табл. 3: а) кто отказывается, то есть известный респондент (2.112) или другие лица (2.111); б) место в анкете, на котором было прервано ее заполнение; в) причины отказа или прерывания. При почтовых опросах иногда без всякого объяснения возвращаются пустые бланки анкет в конвертах, которые вложены в письмо исследователем (для возврата). Хотя нельзя установить причины отказа, требуется рассматривать такие случаи как «неявный отказ» (2.113).

Известные случаи неконтактов адресатов, отобранных по именным спискам, включают факты получения исследователем уведомления о том, что адресат не может заполнить анкету в период опроса (2.26). Также возможны случаи, когда анкета заполнена и отправлена, но доставлена исследователю уже после завершения полевого этапа. Поскольку такие анкеты должны быть включены в выборку (2.27), они помечаются как «неинтервью».

Другие случаи (2.30), когда респондент подходит под условия выборки и не отказывается принять участие в опросе, но заполнение анкеты невозможно: а) смерть респондента, когда USPS делает пометку «адресат умер» (2.31); б) респондент физически или ментально не способен заполнить анкету (2.32); в) проблемы с языком (2.33); г) проблемы с грамотностью (2.34); д) смешанные причины (2.35).

Для всех случаев, включая смерть или не своевременное отправление анкеты, в исследовании должны быть точно определены даты, по которым устанавливается статус единицы исследования (отвечает или не отвечает критериям отбора). Это может быть и первый день полевого периода, и первый день почтовой рассылки анкет. Так, если человек был жив на момент включения его в выборку и ему был присвоен статус респондента, но он умер до того, как полностью заполнил анкету, данный случай должен быть отнесен к неответам по причине смерти (2.31). Аналогичные временные правила применяются для других статусов.

Удовлетворяющий условиям выборки респондент, у которого имеются физические или ментальные недостатки, мешающие заполнить анкету (2.32), должен быть отнесен к категориям постоянной (старость, слепота или паралич) или временной (запой) недееспособности. Обе категории должны быть соотнесены с периодом опроса. Возможна ситуация, что временно недееспособный респондент заполнит анкету при повторном обращении в ходе опроса или после пролонгирования полевой части исследования.

К языковым проблемам (2.33) относят случаи, когда респондент не может читать на языке, на котором составлена анкета (2.332). К этой же группе относят ситуации, когда анкеты, отпечатанные на языке, на котором респондент может читать, ему не отправлены (2.333). Код «проблемы с грамотностью» (2.34) ставится, когда респондент владеет разговорным языком, но не может читать достаточно хорошо, чтобы понять смысл вопросов.

«Смешанные причины» (2.35) включают комбинацию случаев, регистрируемых «как другие причины» (2.30) или «особые обстоятельства» (например, потеря или подделка записей).

В почтовых опросах отобранных адресатов, особенно если почтовая рассылка является единственным методом сбора данных, код «другое» (2.30) применяется лишь тогда, когда исследователь получает дополнительную информацию о респонденте, которая позволяет отнести его к данной категории. Однако, как правило, не предполагается получение какой-либо дополнительной информации, что позволяет классифицировать эти случаи как «отсутствие информации о соответствии критериям отбора».

Отсутствие информации о соответствии критериям отбора и невозврат анкет (3.0) включают ситуации, в которых неизвестно, доставлена анкета или может она быть доставлена почтой по адресу, и, соответственно, адресату (3.10); письмо доставлено, но неизвестно, проживает отобранный человек по данному адресу и соответствует ли он критериям отбора (3.20); письмо не может быть доставлено (3.30); получена дополнительная информация (3.40).

Отсутствие информации о том, что анкета доставлена адресату или хотя бы может быть доставлена, распадается еще на несколько типов: а) письмо не было отправлено (3.11); б) нет никаких сведений о результате почтовой рассылки (3.19). Последняя ситуация наиболее распространена в почтовых опросах.

Если известно, что адрес, по которому отправлено письмо, точно существует, но адресат не получил корреспонденции, то фиксируется незавершенность процедуры отбора (3.21). В эту же группу кодов попадают ситуации, представленные в классификаторе Почтовой службы США (USPS) как «отказ адресата» (3.23): «отказ принять почтовое отправление», когда адресат отказывается принять почту (3.231), или «отказ от дополнительного платежа за почтовую услугу» (3.232), который иногда является обязательным. USPS не будет осуществлять доставку почты по указанному адресу и вернет корреспонденцию отправителю, если зафиксированы «USPS-нарушения, допущенные адресатом» (3.24).

Наконец, у Почтовой службы могут возникнуть проблемы, связанные с адресом, по которому нужно доставить письмо, когда нельзя определить, соответствует ли адрес фактическому месту проживания отобранного респондента (3.25). В эту группу попадают следующие коды: а) «нечитаемый» адрес, в котором не могут разобраться работники USPS (3.251); б) «неполный» адрес на корреспонденции, отправленной с одного почтового отделения на другое (3.252); например, может быть пропущен номер улицы на территории обслуживания данного почтового отделения; в) отсутствует почтовый ящик для того, чтобы оставить корреспонденцию (3.253); г) USPS может приостановить доставку для передачи коммерческому почтовому агентству (3.254).

В каждом из перечисленных случаев исследователь понимает, что адрес для доставки корреспонденции существует (или может существовать), но у него нет уверенности в том, что по этому адресу проживает респондент, удовлетворяющий критериям выборки.

Другая группа кодов, релевантных почтовым опросам по именным спискам, отражает ситуацию, при которой корреспонденция не может быть доставлена попавшему в выборку человеку или она поступает по адресу, где респондент уже долгое время не проживает. Вернувшееся отправителю письмо помечается «невозможно доставить» (3.30). Заметим, что в данном случае исследователь, по крайней мере, знает, что по указанному адресу не проживает респондент, удовлетворяющий условиям выборки.

В Почтовой службе США выделено множество подкатегорий для описания этого класса ситуаций.

Первая подкатегория – письмо не может быть доставлено, поскольку обнаружены проблемы с адресом (3.31). Можно выделить следующие случаи, соответствующие данному описанию: Почтовая служба делала попытки отправить письмо, но по указанному адресу не найдено «известное» лицо (3.311); почтовый ящик закрыт из-за неуплаты рентных платежей (3.312).

Почтовая служба могла и вовсе не отправлять письма, если обнаружилось, что указанного на конверте адреса не существует (3.313). Эта подкатегория может быть представлена следующими кодами: «нет такого номера» (3.3131); «нет такого почтового отделения» в штате (3.3132); «нет такой улицы» (3.3133); «незанятый адрес» (3.3134).

Почтовая служба может не отправить письмо и по многим другим причинам, сообщив исследователю лишь то, что по указанному адресу не удалось застать названное лицо. Эти обстоятельства описываются общей категорией USPS «не доставлено по указанному адресу» (3.314). Данная категория включает следующие USPS коды: а) «невозможно переправить» (3.3141), в том числе из-за отсутствия альтернативного адреса на конверте, срок отправки истек, не гарантирована дополнительная оплата отправки или отправитель пометил на конверте «не переправлять»; б) «внешние ограничения на доставку» (3.3142), например, адрес не входит в географическую зону обслуживания почтового отделения, куда поступило письмо; в) «возврат для уточнения адреса» (3.3143) для локальных писем, то есть адрес отправления и получения письма соответствуют одному и тому же почтовому отделению.

В случае отсутствия информации о попавшем в выборку адресате в США применяются дополнительные USPS коды, для описания результативности почтовых опросов: а) «переехал, не оставив адреса» (3.32), что скорее всего является окончательным кодом; б) возврат из-за неуплаты почтовых расходов (3.33), что может быть окончательным кодом, если исследователь не отправит письмо заново, и временным – если отправит; «временно отсутствует, период востребования корреспонденции истек» (3.34); в) «невостребовано, адресат не затребовал письмо» (3.35). В особых случаях, когда необходима подпись в получении корреспонденции (например, ценное, зарегистрированное или срочное, с доставкой на следующий день, письмо), возможен возврат вследствие того, что никто не подписался (3.36).

Последняя подкатегория кодов, описывающих отсутствие у исследователя информации об адресате, – письмо вернулось не отправленным, но с наличием информации о корректном адресе (3.40). В одних случаях письмо может быть вскрыто (3.41), в других – нет (3.42). Присвоение окончательного или временного кода зависит от решения исследователя отправлять или нет дополнительное письмо по уточненному адресу.

Ситуации, в которых единицы почтового опроса не соответствуют критериям отбора, делятся на следующие типы: а) после получения дополнительной скрининговой информации названное лицо отнесено к категории не удовлетворяющих условиям выборки и исключено из нее (4.10); б) респондент не соответствует условиям выборки (4.70); в) квота исчерпана (4.80); г) письмо продублировано (4.90).

В почтовых опросах по именным спискам, когда требуется связаться с адресатом для завершения процедуры отбора, в выборку могут быть включены единицы, которые затем окажутся не удовлетворяющими сформулированным условиям. Например, как отмечалось ранее, адрес проживания или конкретная географическая область могут быть условиями для определения соответствия конкретного респондента дизайну выборки. Если человек уже долгое время не проживает по указанному адресу, это может послужить поводом для исключения его из выборки (4.10). В редких случаях, когда отобранный адрес домохозяйства частично соответствует критериям выборки, возможно применение кода «респондент не соответствует условиям выборки» (4.70), поскольку применены дополнительные критерии отбора.

При почтовых квотных опросах могут быть обнаружены заполненные анкеты, которые не удовлетворяют окончательным условиям, поскольку квота для специфической подгруппы респондентов уже выбрана на момент поступления письма от респондента (4.80). Описание квот и процедуры их применения должны быть точно определены.

Другой тип «несоответствия» типичен для почтовых рассылок с большими списками адресатов, включенных в основу выборки. В результате может произойти дублирование одних и тех же имен. Если дублирование обнаружено уже после того, как пришла по почте одна заполненная анкета и другая пустая с пометкой респондента о том, что он получил две анкеты, второе письмо должно быть помечено как дубликат в соответствии с ошибкой в списках (4.90).

Во всех случаях, относящихся к окончательным диспозиционным кодам, которые определяют соответствие выборочным условиям, статус адресата должен быть однозначно определен. Если имеются сомнения в соответствии адресата условиям отбора, должны быть точно обозначены действия, необходимые для получения однозначной классификации.

В отчетах и публикациях, посвященных массовым опросам, обычно приводится разнообразные коэффициенты результативности. С одной стороны, одинаковые названия используются для абсолютно разных коэффициентов, с другой, что случается реже, – разные названия присваиваются одинаковым коэффициентам. В результате исследователи проводят опросы с заведомо несопоставимыми данными и, более того, описывая коды, пользуются разной терминологией. В 1988 году Р. Гроувз и Л. Лайберг отметили, что «исследователи для расчета коэффициентов ответов применяют настолько разнообразные формулы, что любые сопоставления опросов приводят к ложным интерпретациям» [Groves, Lyberg, 1988]. Наиболее распространены в исследовательской среде коэффициенты ответов, кооперации, отказов и контактов.

Как определено в документации Совета американских исследовательских организаций (CASRO) [Frankel, 1983] и других источниках [Groves, 1989; Hidiroglou, et al., 1993; Kviz, 1977; Lessler, Kalsbeek, 1992; Massey, 1995], коэффициент ответов – это отношение полностью завершенных интервью ко всем единицам исследования, удовлетворяющим условиям выборки. С учетом описанных окончательных диспозиционных кодов, ниже приводятся несколько коэффициентов ответов, где:

UH= неизвестно домохозяйство или, например, рабочее место (3.10),

e= оценка доли единиц, которые могут удовлетворять критериям отбора в общем количестве единиц, по которым отсутствует информация.

Коэффициент ответов 1 (RR 1), или минимальный коэффициент ответов, – это числовое значение, получаемое при делении количества полностью взятых интервью на сумму всех интервью (завершенных и незавершенных), неинтервью (отказы, прерывания, отсутствие контакта и прочее) и всех случаев, по которым не известно соответствие единиц наблюдения выборочным критериям (неизвестно домохозяйство, неизвестно другое).

В коэффициенте ответов 2 (RR2) незавершенные интервью приравниваются к завершенным.

В коэффициенте ответов 3 (RR3) оценивается, какова доля случаев (e), соответствующих критериям отбора в общем количестве случаев, по которым отсутствует информация об их соответствии. Определяя значение e, следует руководствоваться наиболее адекватной научной информацией, при этом выбор критерия не должен соотносится со стремлением повысить коэффициент ответов [20]. Критерий для оценки e должен быть подробно и понятно описан. Возможно применение нескольких оценок (e1, e2) для разных компонентов неизвестного состояния выборочных единиц (3.10 и 3.20) и/или взвешивание оценок на основе разных процедур. В любом случае критерии для расчета оценок должны быть эксплицированы [21].

В коэффициенте ответов 4 (RR4) случаи с неизвестным выборочным статусом рассчитываются как в RR3, но незавершенные интервью приравниваются к завершенным, как в RR2.

Коэффициент ответов 5 (RR5) – частный случай RR3, в котором e = 0 (то есть среди единиц наблюдения с неизвестным выборочным статусом отсутствуют единицы, удовлетворяющие критериям выборки). Для расчета коэффициента ответов 6 (RR6) принимаются аналогичные допущения, плюс к этому незавершенные интервью приравниваются к завершенным. RR5 и RR6 корректно применять лишь тогда, когда предположение об отсутствии удовлетворяющих выборочным условиям единиц среди неизвестных случаев обосновано или вовсе отсутствуют единицы с неизвестным выборочным статусом. RR6 представляет собой максимальный коэффициент ответов.

Коэффициент кооперации – это отношение опрошенных ко всем единицам наблюдения, удовлетворяющим условиям выборки, с которыми удалось связаться. Выделяют коэффициенты кооперации на уровне домохозяйства и респондента. Приведенные ниже коэффициенты отражают уровень домохозяйства. Они рассчитываются от числа домохозяйств, с которыми удалось установить контакт. Для расчета коэффициентов кооперации на уровне респондента следует принимать во внимание согласие на интервью и отказы только от тех людей, которых мы можем отнести к респондентам.

Коэффициент кооперации 1 (COOP1), или минимальный коэффициент кооперации, – это числовое значение, получаемое при делении количества полностью взятых интервью на сумму всех интервью (завершенных и незавершенных) и неинтервью, в которые попадают случаи идентификации и контакта с респондентами, удовлетворяющими условиям выборки (отказы, прерывания и прочее).

В коэффициенте кооперации 2 (COOP2) незавершенные интервью приравниваются к завершенным.

При расчете коэффициента кооперации 3 (COOP3) делается предположение, что люди, не имеющие возможности принять участие в интервью, не пойдут и на контакт, поэтому они исключаются из анализа. Коэффициент кооперации 4 (COOP4) построен на аналогичных с COOP3 допущениях, за исключением того, что незавершенные интервью приравниваются к завершенным.

Коэффициент отказов – это отношение домохозяйств или отдельных респондентов, которые отказались от участия в опросе или прервали интервью, ко всем потенциально удовлетворяющим условиям выборки единицам наблюдения.

Коэффициент отказов 1 (REF1) – это числовое значение, получаемое при делении отказов от интервью на сумму всех интервью (завершенных и незавершенных), неинтервью (отказы, прерывания, отсутствие контакта и прочее) и всех случаев, в которых неизвестно соответствие единиц наблюдения критериям выборки.

В коэффициенте отказов 2 (REF2) так же, как в коэффициентах ответов RR3 и RR4, учитывается оценка доли, которую могут составлять удовлетворяющие выборочным условиям единицы, от общего числа случаев с неизвестным выборочным статусом.

Коэффициент отказов 3 (REF3) аналогичен коэффициентам ответов RR5 и RR6. Соответственно, исключение тех случаев, по которым нет информации о соответствии или несоответствии единицы наблюдения условиям выборки, должно быть обосновано материалами конкретного исследования. Сумма значений коэффициентов отказов (REF), неконтактов (NC) и коэффициентов прочих случаев (O) эквивалентна коэффициенту неответов.

Коэффициенты контактов измеряют долю всех случаев, в которых удалось связаться с ответственным членом домохозяйства, от всех попавших в выборку единиц, удовлетворяющих заданным условиям.

При расчете коэффициента контактов 1 (CON1) предполагается, что все единицы наблюдения с неизвестным выборочным статусом фактически соответствуют условиям выборки.

Знаменатель коэффициента контактов 2 (CON2) содержит только те единицы наблюдения, которые оценены как соответствующие условиям выборки.

При расчете коэффициента контактов 3 (CON3) учитываются лишь те единицы, о которых известно, что они соответствуют условиям выборки.

Содержащиеся в отчетах коэффициенты ответов и все другие коэффициенты результативности рассчитываются по приведенным выше правилам и формулам; исследователи должны точно указывать, какой коэффициент они используют. Например, предложение «коэффициент ответов равен X» недопустимо. Следует указать, какой конкретно коэффициент применяется, например, «коэффициент ответов 2 равен X». Кроме того, составляется таблица с окончательными диспозиционными кодами для всех рассматриваемых в отчете случаев, которая должна предоставляться по запросу [22].

Если в исследованиях применяется комплексный дизайн, расчет коэффициентов результативности становится более сложным. Настоящее руководство описывает три основных ситуации: 1) дизайн для выборки с неравной вероятностью отбора; 2) дизайн с многошаговым отбором; 3) двухфазовый дизайн, представляющий подвыборки нереспондентов. Третий дизайн довольно специфичен, однако он включен в стандарт постольку, поскольку проектирование выборок нереспондентов и применение более интенсивных методов для получения от них ответов является важным случаем в выборочном методе. В комплексных дизайнах часто требуется комбинировать несколько способов расчета коэффициентов ответов.

Одношаговые выборки с неравной вероятностью отбора единиц. В одношаговом дизайне, в котором единицы попадают в выборку с неравной вероятностью, коэффициенты должны быть взвешены на основе значений, обратно пропорциональных вероятностям попадания в выборку тех или иных единиц. Другими словами, значения показателей, которые используются для расчета коэффициентов, должны быть перевзвешены. Например, числитель коэффициента RR1 (количество полностью взятых интервью) должен быть заменен суммой взвешенных по группам случаев.

Пример: Предположим, люди отбираются с неравной вероятностью, при которой вес для i-го человека равен w_i (обратная величина вероятности его попадания в выборку). Числитель коэффициента RR1 является суммой w_i всех людей, у которых полностью взято интервью. Знаменатель содержит соответствующим образом взвешенные значения. Такой коэффициент ответов позволяет оценить процент ответивших по отношению к общей основе выборки. Например, коэффициент RR1 преобразуется так:

где индекс w отражает применение весов к показателям. Числитель I в простом коэффициенте RR1 – это сумма полностью взятых интервью, то есть , где I_i = 0, если i-й респондент не опрошен, и I_i = 1, если опрошен. В коэффициенте RR1_w I_i – взвешенная сумма всех I_i, или , аналогично и так далее для R_w, NC_w, O_w, UN_w и UO_w.

Дизайн с многошаговым отбором. Коэффициенты для единиц, включенных в выборку на последнем шаге, должны содержать неответы на более ранних этапах.

Пример: Предположим, выборка домохозяйств производится на первом шаге, а выбор респондентов – на втором, или университеты отбираются на первом, а студенты – на втором. Для примера рассмотрим дизайн выборки, предполагающей опрос людей от 18 до 44 лет в каждом домохозяйстве. Коэффициент для первого шага (уровень домохозяйства) рассчитывается так же, как указано выше. Коэффициент на индивидуальном уровне рассчитывается с учетом числа людей от 18 до 44 лет, пропущенных в неопрошенных домохозяйствах. Например, если любое домохозяйство имеет равные шансы попасть в выборку, RR1–RR6 рассчитываются с учетом числа людей от 18 до 44 лет в опрошенных и неопрошенных домохозяйствах. Обычно количество людей в неопрошенных домохозяйствах полностью неизвестно, поэтому для расчета коэффициента это количество должно быть как-то оценено.

где I, P, R, NC, и O – численность неопрошенных лиц 18–44 лет в домохозяйствах, в которых кто-то ответил на вопросы, поэтому значения этих показателей обычно известны. Напротив, произведение e(UH+UO) – оценка общего количества лиц в неответивших домохозяйствах, и e указывает на долю членов семей в возрасте от 18 до 44 лет, соответственно, отвечающих условиям выборки.

Обычная практика состоит в том, чтобы оценивать RR1–RR6 как произведение коэффициента отбора и коэффициента интервью. Коэффициент отбора – это процент лиц от 18 до 44 лет, проживающих в отобранных домохозяйствах, который можно определить из списков домохозяйств. Коэффициент интервью – процент попавших в выборку лиц, у которых удалось взять интервью. Перемножая коэффициенты, мы предполагаем, что распределение по возрасту лиц от 18 до 44 лет в неопрошенных домохозяйствах аналогично распределению в опрошенных. Прежде чем приступить к расчетам, рекомендуется провести небольшое исследование для проверки этого предположения.

Двухфазовый выборочный дизайн предполагает учет подвыборки нереспондентов. Коэффициенты рассчитываются с учетом весов, объясняющих вероятность попадания единиц исследования в подвыборку. В двухфазовом дизайне рассчитывается вероятностная доля нереспондентов после завершения первой фазы опроса, затем предлагаются различные способы дополнительного рекрутирования неответивших людей. Оценки исследования опираются на взвешенные совокупности респондентов, ответивших на вопросы на первой или второй фазе. Основная идея такого дизайна состоит в том, что первоначально неответивших людей можно впоследствии убедить принять участие в опросе [23]. В этом случае простые значения заменяются взвешенными, где веса основываются на единицах, не попавших в подвыборку (то есть интервью состоялось до формирования подвыборки) и являются результатом базовых весов и коэффициентов подвыборки. Заметим, что веса для единиц, подлежащих включению в подвыборку, но по тем или иным причинам не попавших в нее, равны нулю. Это в основном и приводит к существенным различиям между взвешенными и невзвешенными коэффициентами.

Пример: Предположим, что составлена выборка домохозяйств и базовый вес для i-го домохозяйства равен w_i. Неответившие домохозяйства попадают в подвыборку таким образом, что каждый неответивший респондент имеет 50% шансов попасть в подвыборку. Вес для расчета коэффициента ответов равен w_i для домохозяйств, которые не попадают в подвыборку, 2w_i – для попадающих в подвыборку домохозяйств и 0 – для тех домохозяйств, которые не включены в подвыборку, хотя вполне могли быть включены. Формулы для коэффициента ответов в этом случае практически совпадают с формулами для одношаговой выборки с неравной вероятностью отбора, например:

где индекс w отражает применение весов к показателям. Числитель I в простом коэффициенте RR1 – это сумма полностью взятых интервью, то есть I = Σ I_i , где I_i = 0, если i-й респондент не опрошен, и I_i = 1, если опрошен. В коэффициенте RR1_w I_i – взвешенная сумма всех I_i, или I_w = Σ w_iI_i , аналогично P_w = Σ w_iP_i и так далее для R_w, NC_w, O_w, UN_w и UO_w.

Добротное количественное исследование всегда методологически обосновано. Один из ключевых компонентов надежной научной методологии – точное и непротиворечивое описание применяемых методов, благодаря которому возможно сравнение и воспроизводство полученных результатов. Для решения этой задачи AAPOR предлагает применять настоящий набор систематических описаний во всех массовых опросах. AAPOR всячески поддерживает определение и расчет коэффициентов результативности, таких, как коэффициенты ответов, по настоящему стандарту. AAPOR рекомендует всем исследователям придерживаться систематического описания кодов и коэффициентов, а также включить его в систему документации, сопровождающей любой отчет о результатах массовых опросов.

Стандарт минимального раскрытия информации AAPOR требует от исследователей описания «объема выборки и, если это требуется, коэффициентов завершения, информации о критериях пригодности и процедурах отбора». Термин «коэффициент завершения» не однозначен. В данном контексте «коэффициент завершения» относится не к измерению продуктивности, а исключительно к значениям и коэффициентам результативности, описанным в настоящем стандарте. AAPOR полагает, что исследователи, которые придерживаются дизайна опроса, описанного в стандарте, будут включать в отчеты коэффициенты результативности тогда, когда такие коэффициенты могут быть рассчитаны. Это относится к любым видам опросов, которые опираются на случайный отбор или полностью случайную выборку, например, выборку, спроектированную в телефонном опросе по методу RDD. Для опросов по неслучайным (например, квотным) выборкам, должны приводиться соответствующие коэффициенты результативности, учитывающие объем выборочной совокупности, количество полностью взятых интервью и отказов.

В настоящий момент Совет AAPOR подчеркивает исключительную важность раскрытия информации о методах организации опросов, включая коэффициенты результативности. Исследователи выполнят требования стандарта только тогда, когда будут представлять в отчетах систематическое описание кодов в соответствии с настоящим стандартом. Совет также предупреждает, что не существует простого показателя, который бы полностью отражал качество исследования, и для оценки опроса следует рассматривать все его элементы в комплексе. Пресс-релиз Совета, представленный в конце стандарта, уточняет данную политику раскрытия информации.

Best practices for survey and public opinion research and survey practices that AAPOR condemns / American Association for Public Opinion Research. Lenexa, Kanzas: AAPOR, 1997.

Davis J.A., Smith T.W. Ceneral Social Surveys, 1972–1996: Cumulative codebook. Chicago: NORC, 1996.

Elliott M.R., Little R.J., Lewitsky S. Subsampling callbacks to improve survey efficiency // Journal of the American Statistical Association. 2000. Vol. 95. P. 730-738.

Frankel L.R. The report of the CASRO task force on response rate // Improving data quality in a sample survey / Ed. by F. Wiseman. Cambridge, MA: Marketing Science Institute, 1983.

Frey J.H. Survey research by telephone. 2nd. ed. Newbury Park, CA: Sage, 1989.

Groves R.M. Survey errors and survey costs. New York: John Wiley & Sons, 1989.

Groves R.M., Lyberg L.E. An overview of nonresponse issue in telephone surveys // Telephone survey methodology / Ed. by R.M. Groves, et al. New York: John Wiley & Sons, 1988.

Hansen M.H., Hurwitz W.N. The problem of non-response in sample surveys // Journal of the American Statistical Association. 1996. Vol. 41. P. 517-529.

Hidiroglou M.A., Drew J.D., Gray G.B. A framework for measuring and reducing nonresponse in surveys // Survey Methodology. 1993. Vol. 19. P. 81-94.

Kviz F.J. Toward a standard definition of response rate // Public Opinion Quarterly. 1977. Vol. 41. P. 265-267.

Lavrakas P.J. Telephone survey methods: Sampling, selection, and supervision. 2nd ed. Newbury Park, CA: Sage, 1993.

Lessler J., Kalsbeek W.D. Nonsampling error in surveys. New York: John Wiley & Sons, 1992.

Madow W.G., Nisselson H., Olkin I. Incomplete data in sample surveys. Vol. 1: Report and case studies. New York: Academic Press, 1983.

Massey J.T. Estimation the response rate in a telephone survey with screening / Proceedings of the selection on survey research methods. Vol. 2. Alexandria, VA: American Statistical Association, 1995.

Rawlings S.W. Household and family characteristics: March, 1993 // Current Population Reports. Washington, DC: Bureau of the Census, 1994. P. 20-447.

Respondent cooperation and industry image survey. Port Jefferson, NY: Council for Marketing and Opinion Research, 1996.

Shapiro G., Battaglia M.P., Camburn D.P., et al. Calling local telephone company business offices to determine the residential status of a wide class of unresolved telephone numbers in a random-digit-dialling sample / Proceeding of the section on survey research methods. Vol. 2. Alexandria, VA: American Statistical Association, 1995.

Smith T.W. A review of methods to estimate the status of cases with unknown eligibility // Report of the Standard Definitions Committee for the American Association for Public Opinion Research. Lenexa, Kanzas: AAPOR, 2003.

Tomaskovic-Devey D., Leiter J., Thompson S. Organizational survey nonresponse // Administrative Science Quarterly. 1994. Vol. 39. P. 439-457.

USPS endorsements for mail undelivered as addressed: Exhibit 4-1 // Domestic Mail Manual Issue 55 / United States Postal Service. Washington DC: GPO, 2000. P. F-3.

The Current Population Survey: Design and methodology / U.S. Bureau of the Census. Technical Paper No. 40. Washington DC: GPO, 1978.

1990 Census of population and housing guide / U.S. Bureau of the Census. 1990 CPH-R-1A&B. Washington DC: GPO, 1993.

Wiseman F., McDonald P. The nonresponse problem in consumer telephone surveys. Report No. 78-116. Cambridge, MA: Marketing Science Institute, 1978.

Wiseman F., McDonald P. Towards the development of industry standards of response and nonresponse rates. Report 80-101. Cambridge, MA: Marketing Science Institute, 1980.

Массовый опрос – комплексное научное предприятие. Члены Американской ассоциации исследователей общественного мнения (AAPOR) убеждены, что для поддержания публичного доверия к опросам необходимо полное раскрытие методологии исследования. К этому обязывает «Кодекс профессиональной этики и практики».

Вопрос в том, зачем в «Кодексе AAPOR» выдвинуто требование раскрыть информацию о коэффициентах ответов. Многие годы каждая исследовательская организация применяла собственный метод для расчета таких коэффициентов. В результате не было никакой возможности сравнить коэффициенты ответов, полученные в разных исследованиях. Для решения этой проблемы AAPOR публикует отчет, названный «Стандартные определения». Он описывает стандартные меры для коэффициентов ответа, кооперации, отказов и контактов. Каждый из этих коэффициентов требует рассмотрения состояния всех единиц, попавших в выборку. Коды этих состояний стандартизованы в отчете.

Члены AAPOR, придерживающиеся «Кодекса профессиональной этики и практики», должны быть готовы предоставить информацию о результативности исследования по любому запросу согласно «Стандартным определениям».

Те, кто намерен сравнивать коэффициенты ответов (или любые другие коэффициенты, описанные в стандарте), полученные в разных исследованиях, должны использовать формулы, представленные в «Стандартных определениях». Они также должны сравнивать коэффициенты исключительно в исследованиях с одинаковыми дизайнами выборки; сравнение опросов с разными дизайнами невозможно. Коэффициенты ответов двух исследований сравнимы только тогда, когда применяются одинаковые (а) диспозиционные коды, (б) формулы для расчета коэффициента ответов и (в) дизайны выборки. Раскрытие дизайна исследования в целом – также обязательное требование «Кодекса AAPOR».

«Мы всегда поддерживаем членов AAPOR в их стремлении использовать заданные коды в исследовательских отчетах, – заявил Майкл Троготт, президент AAPOR. – Мы понимаем, что лишь отдельные организации могут предоставить информацию, соответствующую стандарту. Но это является обязательным условием для тех, кто публикуется в журнале ассоциации, “Public Opinion Quarterly”».

«Внедрение предлагаемых рекомендаций по-разному отразится на работе опросных компаний, это определяется уровнем организации исследований, который они поддерживают, – добавляет М. Троготт. – Однако мы надеемся, что компании будут стремиться к более полному соответствию разработанным рекомендациям».

Кодекс и «Стандартные определения» размещены в открытом доступе на сайте: www.aapor.org.

* Редакция выражает глубокую признательность Американской ассоциации исследователей общественного мнения за предоставление права перевода и публикации "Стандартных определений" на русском языке. Финансирование перевода осуществлено компанией "Арт-Прогноз". Перевод с английского кандидата социологических наук Д.М. Рогозина, кандидата экономических наук Е.М. Киселева.

1. Варианты классификаций можно найти в следующих публикациях: [Hidiroglou, et al., 1993; Frey, 1989; Lavrakas, 1993; Lessler, Kalsbeek, 1992; Massey, 1995; Wiseman, McDonald, 1978, 1980].

2. В положении AAPOR о «лучших практиках» [Best practices, 1997, p. 9] зафиксировано требование раскрытия информации об «объеме и диспозициях выборок — результатах применения выборочного метода, включая полное описание окончательного результата по всем единицам наблюдения. Это общее число элементов выборки, с которыми удалось установить контакт, которые отказались от участия в опросе, были недоступны или не соответствовали критериям выборки, а также число завершенных интервью или заполненных анкет…».

3. Статусный день (status day) — дата установления статуса члена домохозяйства как респондента и нереспондента в ходе опроса. — Прим. перев.

4. См, например: McCarty C. Differences in response rates using most recent versus final dispositions in telephone surveys // Public Opinion Quarterly. 2003. Vol. 67. P. 396-406.

5. Под заменой понимается изменение первоначально включенной в выборку единицы на любую другую. Замена может производиться внутри или вне домохозяйства.

6. Работа с информантом (proxy) – это разговор с человеком об отобранном респонденте. Этот человек может быть или не быть членом домохозяйства (например, опекун), в которое входит попавший в выборку респондент.

7. К важным и существенным вопросам относят ключевые для данного исследования зависимые и независимые переменные. Например, исследование, проводимое для измерения расовых различий, должно включать переменную, указывающую на расу респондента; в исследование, проводимое для определения причин депрессии, может потребоваться включение шкального вопроса для измерения клинической депрессии.

8. Признаки, по которым устанавливается «ответственный член домохозяйства», должны быть точно определены. Например, в «Текущем обследовании населения» (CPS) считается, что любой член семьи, достигший 14 лет, может рассматриваться в качестве информанта данного домохозяйства.

9. К резидентным домохозяйствам (residential household) относят семьи, которые некоторым образом «приписаны» к отобранному району исследования (например, в соответствии со списками избирателей). В России на резидентность указывает наличие регистрации по месту жительства. — Прим. перев.

10. Как и в других случаях, по мере необходимости следует составлять детальные описания. Например, в исследовании потребления наркотиков и алкоголя введение дополнительных кодов для респондентов, не находящихся в состоянии интоксикации, может быть крайне полезным.

11. Линии, которые автоматически переключаются для приема данных или телефонных звонков, не представляют проблем, но те, у которых переключение производится вручную, создают реальные проблемы. Исследователь должен сделать несколько попыток, чтобы установить статус таких линий.

12. Определения домохозяйств, групп, проживающих по домашним адресам, и других похожих единиц, которые применяются в переписи населения, можно найти в [Rawlings, 1994; US Census, 1993].

13. К важным и существенным вопросам относят ключевые для данного исследования зависимые и независимые переменные. Например, исследование, проводимое для измерения расовых различий, должно включать переменную, указывающую на расу респондента; в исследование, проводимое для определения причин депрессии, может потребоваться включение шкального вопроса для измерения клинической депрессии.

14. Признаки, по которым устанавливается «ответственный член домохозяйства», должны быть точно определены. Например, в «Текущем обследовании населения» (CPS) любой член семьи, достигший 14 лет, считается информантом домохозяйства.

15. Отказ, полученный от охранников или владельцев недвижимости, не означает «отказ» как таковой, пока не установлена искомая единица выборки. Однако если просьба об участии в интервью была передана ответственному члену домохозяйства и от него получен отрицательный ответ, такая ситуация классифицируется как отказ.

16. Следующий уровень детализации позволяет говорить о временном отсутствии (семья уехала в отпуск на две недели) и других причинах неконтактов.

17. Как и в других случаях, по мере необходимости следует составлять детальные описания. Например, в исследовании потребления наркотиков и алкоголя введение дополнительных кодов для респондентов, не находящихся в состоянии интоксикации, может быть крайне полезным.

18. Если повторных обращений не было, эти случаи рассматриваются как неприемлемые для включения в выборку. Однако если интервьюеру удалось установить контакт по отмеченному адресу с повторной попытки, то полученный результат должен кодироваться отдельно.

19. К важным и необходимым вопросам могут относиться ключевые зависимые и независимые переменные, выделенные в данном проекте. Например, дизайн исследования для измерения расовых различий может включать переменную «раса респондента», для измерения причин депрессивного состояния – шкальную оценку клинической депрессии.

20. Например, разные значения e следует использовать в опросах, требующих применения скрининговых процедур для удовлетворения выборочных условий (выборка молодежи 18–29 лет). Два разных значения e применяются для расчета доли приемлемых домохозяйств среди людей, отказавшихся участвовать в скрининговой процедуре (для этого нужно оценить вероятность наличия в домохозяйстве одного или нескольких членов 18–29 лет) и выборочных единиц, с которыми не удалось связаться (требуется оценить долю таких домохозяйств и долю тех из них, где проживают молодые люди 18–29 лет).

21. Наиболее распространенные в телефонных RDD опросах методы оценки e: (1) минимальное и максимальное распределения; (2) пропорциональное распределение; (3) распределение, основанное на диспозиционных кодах; (4) оценка продолжительности жизни; (5) расчет количества телефонизированных домохозяйств; (6) количество контактов по рабочим телефонам; (7) продолжительность дозвона [Smith, 2003].

22. Дополнительно могут понадобиться взвешенные коэффициенты результативности для многошаговых выборок, когда респонденты репрезентируются дифференцированно (например, студенты или служащие) по выборочным единицам (школы или компании). Взвешенные коэффициенты результативности и любые другие веса должны быть детально описаны.

23. Более подробное описание двухфазового дизайна представлено в работах М. Хансена и В. Гурвица [Hansen, Hurwitz, 1946] и М. Элиота, Р. Литтла и С. Левитски [Elliot, Little, Lewitzky, 2000]

AAPOR (American Association for Public Opinion Research) – Американская ассоциация исследователей общественного мнения. Веб-сайт:

CASRO (Council of American Survey Research Organizations) – Совет американских исследовательских организаций. Адрес: 170 North Country Road, Suite 4, Port Jefferson, New York 11777 USA. Телефон: (631) 928–6954 Факс: (631) 928–6041 Электронная почта: casro@casro.org Веб-сайт:

CATI (Computer-Assisted Telephone Interviewing) – компьютерное ассистирование телефонного интервью

CPS (Current Population Survey) – Текущий опрос населения, который проводит Бюро переписи США. Веб-страница:

GSS (General Social Survey) – Общее социальное обследование, проводится Национальным центром изучения общественного мнения. Веб-страницы: ,

RDD (random digital dialling) – метод случайного генерирования телефонных номеров.

USPS (United States Postal Service) – Почтовая служба Соединенных Штатов. Веб-сайт:

NSFG (1995 National Survey of Family Growth) – Национальное исследование роста семьи 1995 года. Исследование проводится Национальным центром статистики здравоохранения США. Веб-страница:

NHIS (National Health Interview Survey) – Обследование здоровья нации. Исследование Национального центра статистики здравоохранения США. Веб-страница:

Standard definitions: Final dispositions of case codes and outcome rates for surveys / The American Association for Public Opinion Research. 3rd ed. Lenexa, Kansas: AAPOR, 2004.

Стандартные определения: систематическое описание диспозиционных кодов и коэффициентов результативности для массовых опросов. 3-е изд. 2004 год / Американская ассоциация исследователей общественного мнения; Пер. с англ. Д.М. Рогозина, Е.М. Киселева // Социологический журнал. 2005. № 2.

Другие интересные материалы:

Психогигиеническое направление в снижении риска формирования аддиктивного поведения школьников
В статье раскрывается психогигиенический...

Формирование здорового образа жизни, как...

Вместо заключения - о литературе и искусстве

Дорогой практик! Еще несколько минут -...

Социальная превенция наркотизма и наркозависимости
В конце 2006 года в издательстве...

СОЦИАЛЬНАЯ ПРЕВЕНЦИЯ НАРКОТИЗМА И...

Модель консультации учителей и родителей
Предлагаем Вашему вниманию отрывок из...

Thompson & Poppen (Thompson, C., & Poppen, W. (1992). Guidance...

У него начнутся головокружение, рвота или случится обморок

Если твой друг жалуется, что его начало...

СТАНДАРТНЫЕ ОПРЕДЕЛЕНИЯ: Систематическое описание диспозиционных кодов и коэффициентов результативности для массовых опросов

СТАНДАРТНЫЕ ОПРЕДЕЛЕНИЯ: Систематическое описание диспозиционных кодов икоэффициентов результативности для массовых опросов

СТАНДАРТНЫЕ ОПРЕДЕЛЕНИЯ: Систематическое описание диспозиционных кодов и
коэффициентов результативности для массовых опросов