Response rate — показатель качества опроса или методическая проблема? Как мы считали достижимость респондентов в комбинированном исследовании

Аннотация

Подробная и точная информация об отказах от участия в социологических опросах, а также уровень достижимости респондентов считаются ключом к научным исследованиям и имеют особое значение для сбора высококачественных данных. В статье представлены результаты эксперимента по расчету уровня достижимости респондентов (response rate) на материалах актуального коллаборативного опросного исследования «Открытое мнение — Санкт-Петербург. Образ идеального губернатора», проведенного в течение мая-июля 2019 г. Основное внимание в статье сосредоточено на методических и технических трудностях сбора, кодирования и интерпретации параданных в комбинированном (mixed) опросе (с раздельными подвыборками телефонного и уличного опросов). Для оценки результативности опросов, а также для анализа отказов использована стандартная методика Американской ассоциации изучения общественного мнения (AAPOR). Описаны основные проблемы, возникающие при попытке рассчитать уровень достижимости респондентов и оценить качество параданных в комбинированном опросе с применением диспозиционных кодов, рекомендованных Американской ассоциацией изучения общественного мнения, а именно: зарегистрированные в процессе опроса параданные содержат много пропусков и неточностей, а также ошибки кодирования отказов, которые приводят к неверным расчетам уровня достижимости и оценкам результативности исследования в целом. Основная проблема — качество параданных. Информация, представленная в статье, в первую очередь предназначена для того, чтобы привлечь внимание исследователей к данной проблеме и ее последствиям. Предложены ее возможные решения, которые варьируются от повышения квалификации интервьюеров, ориентированных на сбор сопутствующих исследованию данных и внедрение автоматической системы учета параданных, до разработки стандартизированной, хорошо документированной и воспроизводимой процедуры сбора параданных, адаптированной к разным методам сбора данных и российскому контексту.

Благодарность. Автор выражает благодарность Содружеству «Открытое мнение» за открытые массивы данных и материалы исследования «Открытое мнение — Санкт-Петербург. Образ идеального губернатора», которые позволили заглянуть в глаза «объективности» и представить результаты проделанной работы, акцентируя внимание на трудностях, с которыми пришлось столкнуться исследователям, и нерешенных методических проблемах. Также огромная благодарность коллегам Марии Мацкевич, Игорю Задорину, Владимиру Звоновскому, Роману Кузнецову, Юлии Баскаковой, Надежде Корытниковой за советы и конструктивную критику в процессе работы над материалами исследования.