Восемьдесят лет назад произошло событие, представляющееся современникам крахом электоральных прогнозов. В течение десяти лет еженедельник The Literary Digest проводил почтовые опросы своих подписчиков, рассылая миллионы бюллетеней, и никогда не ошибался. В 1936 году были президентские выборы США. От демократов выступал Франклин Рузвельт, от республиканцев — Альфред Лэндон. Собрав более 2 млн анкет, газета предсказала победу Лэндона в пропорциях 57 к 43%. На деле Америка выбрала Рузвельта: 62,5 против 37,5%.
Это событие одними маркировалось как крах опросной технологии, другими — как повод для отказа от каких-либо прогнозов в столь ненадежной и неустойчивой политической среде. Ошиблись и те и другие.
Для методологии социальных исследований 1936 год стал переломным моментом, стартом масштабной и продержавшейся многие десятилетия программы исследований, опирающихся на случайные выборки, разработанные взамен так называемых соломенных опросов, проводимых The Literary Digest.
Нынешняя победа Трампа стала для всех полной неожиданностью. Полстеры, журналисты, политические аналитики прогнозировали пусть и с небольшим перевесом, но уверенную победу его оппонента Хиллари Клинтон. Хотя отрыв оказался не столь весомым, как в 1936 году, это не помешало ошарашенным, удрученным и не в меру импульсивным аналитикам вновь начать разговоры о полном крахе опросных технологий и необходимости отказа от каких-либо прогнозов, основанных на опросах общественного мнения.
Круг замкнулся. Через восемьдесят лет мы вновь подошли к точке перелома, парадигмальному сдвигу в опросной индустрии.
Именно поэтому разочарование журналистов и уныние политиков обернулось торжеством и ликованием методистов, занятых технологическими решениями, отвечающими на вопрос, как правильно проводить и организовывать опросы. Можно выделить пять причин, по которым 2016 год имеет все шансы вновь переопределить методологический ландшафт социальных исследований.
Во-первых, обнажилась проблема ненадежности данных, подкрепленных сотнями опросов, проводимых по разным методикам с неизменными, весьма близкими результатами. Подобное всегда считалось признаком качества исследований. Мы и в России зачастую отсылаем к «большой тройке» (Левада-центр, ФОМ и ВЦИОМ), и если у них сходятся цифры по тем или иным вопросам, то считаем это показателем надежности проведенных измерений. Это ложная отсылка.
Совпадение результатов даже тысячи опросов может указывать лишь на систематическое смещение, с завидным постоянством регистрируемое независимыми наблюдателями.
Во-вторых, такая проблематизация оценки надежности результатов опросов подчеркивает принципиальную недостаточность, неполноту процентных распределений, которыми привыкли жонглировать публичные деятели. Имеем ли мы на руках прогноз от Ларри Сабато о победе Хиллари Клинтон с вероятностью 98%, оценку ВЦИОМа в 41% голосов, отдаваемых «Единой России», или рейтинг Путина, зафиксированный ФОМом на отметке 64%, — это все величины, потенциально содержащие целый кластер смещений, для обнаружения которых требуется раскрытие дополнительной методической информации. Цифры, привычно воспринимаемые в качестве продукта социальных исследований, являются лишь его частью, заготовкой, требующей со всей необходимостью дальнейших отладочных работ. Другими словами,
если некто начинает уверенно разглагольствовать о том, что показывают опросы общественного мнения, представляя цифры как факты, гоните его в шею.
Это либо авантюрист, не знающий меры в словоблудии, либо недалекий, необразованный человек, выдающий себя за эксперта.
В-третьих, дополнительная методическая информация, именуемая в профессиональной среде параданными и традиционно используемая для корректировки основных данных, вовсе не является служебной и подчиненной. Можно пойти дальше. Ошибочно называть ее дополнительной.
Вопрос о том, можно ли доверять опросам общественного мнения, имеет два противоположных ответа. Нельзя, поскольку представления данных опросов однобоки, неполны, ущербны. Такие опросы должны умереть. Можно, поскольку в произошедшей коммуникации между интервьюером и респондентом нет лжи. Коммуникация состоялась. Она явила собой некоторый непротиворечивый и очевидный факт обмена репликами. Один задавал вопросы. Второй отвечал на них. И в этом контексте фиксация лишь ответа не содержит в себе всю информацию об ответе.
Параданные — это необходимый элемент самих данных, позволяющий нам говорить о полноте, надежности и валидности получаемого знания.
В-четвертых, чудес не бывает. Об ущербности данных методисты толкуют уже не одно десятилетие. Тысячи экспериментальных планов показывают изменения в итоговых цифрах, получаемые от перестановки слов, порядка предъявления вопросов, интонации и манеры разговора интервьюера, особенностях реализации выборки, отбора подходящего респондента и т.д. и т.п.
Американский прогнозный коллапс уже сейчас объясняется двумя доминирующими причинами. Протестным голосованием, или отсутствием однозначного одобрения кого-либо из претендентов, и мобилизацией на выборах молчащего, не заметного для опросов населения. Ошибки измерения и репрезентации, как обобщили бы коллеги по опросному цеху. Другими словами, уже накоплен достаточный багаж наблюдений, ожидающий лишь подбора теоретической рамки, позволяющей обобщить эмпирически полученные затруднения и сбои.
Наконец, в-пятых, такая теоретическая рамка уже разработана, и требуется лишь ее апробация и подгонка под существующие реалии. Это так называемая теория общей ошибки исследования, согласно которой нет хороших опросов.
Задача исследователя состоит не в создании идеального инструмента, а в поиске ошибок и недостатков существующего.
Для этого следует стереть различия между данными и параданными, регистрировать, накапливать и анализировать весь массив коммуникативных сигналов, которые мы можем снять в ходе коммуникации между респондентом и интервьюером, компьютером или смартфоном.
Такая возможность тотальной, потоковой регистрации представлялась бредом сумасшедшего каких-то 10–15 лет назад. Сейчас это реальность, и ее имя — большие данные.
Итак, нам всем посчастливилось застать время колоссального технологического сдвига. Отказ от традиционных опросов, начавшихся с перехода от бумажных анкет к электронным, с замещения личных интервью телефонными, а телефонных — онлайн-панелями, продолжается через комбинирование различных способов опроса и стирание грани между опросной технологией и аналитикой больших данных.
Это будущее, которое смотрит на нас сквозь кризис электоральных прогнозов президентских выборов США 2016 года. Как ошибки «соломенных опросов» послужили развитию теории случайных выборок, так через 80 лет ошибки случайных выборок открывают дорогу для становления теории комбинированных социальных исследований.
Автор — директор Центра методологии федеративных исследований РАНХиГС