Насколько корректен телефонный опрос о Крыме: апостериорный анализ ошибок измерения

Аннотация

14–16 марта 2014 г. Фонд Общественное мнение и Всероссийский центр изучения общественного мнения провели масштабный телефонный опрос об отношении россиян к присоединению Крыма. Вслед за публикацией результатов, указывающих на беспрецедентную поддержку президентского решения, в адрес кампаний были высказаны упреки в ангажированности и методической некорректности, допущенных в ходе опроса. Цель статьи — выделить и оценить на эмпирическом материале возможные ошибки измерения, в первую очередь отражающие работу интервьюеров. Из массива данных исследования Фонда Общественное мнение случайным образом сгенерирована выборка в 608 интервью, которые затем прослушивались и кодировались на предмет допущенных интервьюером ошибок. Кроме количественных оценок, анализировались транскрипты аудиозаписей. Установлено, что проведенный опрос отличается высоким уровнем качества измерения. Значимые нарушения опросной технологии возможны не более чем в 5% интервью, но даже при их исправлении ответы не будут смещены, поскольку итоговые распределения в группах с нарушениями и без нарушений практически не различаются. Затруднения с ответами, подбор аргументов к тому или иному вопросу вписываются в порядок обыденного разговора. Дополнительные вопросы и уточнения к ответу не нарушают общую логику беседы, что в первую очередь объясняется компактным и тематически строго определенным опросом. Новые технологии учета данных и масштабность исследования позволили решить две чрезвычайно значимые методические задачи. Во-первых, оценить ошибки измерения и рассчитать риск, который наносят недобросовестные интервьюеры. Во-вторых, построить рейтинг call-центров, основанный на результатах работы, а не на отчетной документации. Первое решение вносит вклад в формирование общей теории ошибок, второе — поможет исследовательским коллективам, впервые выходящим на рынок полевых работ, выбрать наиболее надежных и добросовестных партнеров.