Офлайн-опрос или онлайн-опрос? Когда экономить – дороже?

Развитие технологий предлагает рынкам новые решения и область социологических исследований – не исключение. В период карантина проведение фокус-групп и глубинных интервью гармонично переместилось из очного формата в дистанционный. Помимо программных продуктов, облегчающих хранение, сбор и анализ данных, к традиционным полевым методам сбора информации добавились онлайн-опросы. В агентство СканМаркет часто поступают запросы на расчет стоимости маркетинговых исследований методом онлайн-опросов. Для решения некоторых исследовательских задач проведение интернет-опроса намного эффективнее телефонных или личных опросов. Преимущества онлайн-опросов очевидны – низкая стоимость, оперативность, возможность доступа к активным онлайн-пользователям. Однако, в ряде случаев выбор интернет-опроса не соответствует целям и задачам социологического или маркетингового исследования, а исполнители не всегда предупреждают клиентов о недостатках онлайн-опросов.

В статье рассмотрены причины, по которым онлайн-исследование не рекомендуется или несет большие риски получения недостоверной информации. Онлайн-анкетирование будет сравниваться с очным опросом, так как оба эти метода полевых исследований позволяют показывать респондентам изображения (в отличие от телефонного опроса).

В конце статьи приведен чек-лист, благодаря которому Вы самостоятельно сможете оценить, насколько недостатки онлайн-опросов актуальны в Вашем случае.



НАРУШЕНИЕ РЕПРЕЗЕНТАТИВНОСТИ ВЫБОРКИ ИЗ-ЗА ВЫБОРА ОНЛАЙН-ОПРОСА

1. В выборку по определению не попадает часть аудитории

Одним из принципиальных требований к выборке является репрезентативность. Полностью репрезентативная выборка – это недостижимый идеал, но на стадии разработки дизайна маркетингового исследования выбирается метод, обеспечивающий наибольшее соответствие структуры респондентов составу генеральной совокупности. В случае, если целевая аудитория активно пользуется интернетом (например, программисты, игроки компьютерных игр, веб-дизайнеры, лица, чья работа или хобби сильно связана с интернетом), поиск респондентов и их опрос в интернете по сравнению с телефонным или личным опросом обеспечит более точное попадание в нужную аудиторию и удешевит стоимость исследования. Однако, если исследуемая тема не связана с интернетом или какой-то сегмент целевой аудитории не является активными интернет-пользователями, то часть аудитории недоступна при выборе онлайн-опроса. Таким образом, выбор онлайн метода сразу исключает из выборки часть аудитории. Такое искажение выборки относительно генеральной совокупности может быть фатальным не зависимо от размера выборки, качества анкеты и прочих рабочих вопросов.


Такая ошибка описывается анекдотом: 

онлайн-опрос населения показал, что 100% населения пользуется интернетом. Очевидно, нельзя выяснять спрос на автобусные перевозки на остановке автобуса или спрос на недвижимость в офисе застройщика.

2. Не все пользователи интернета готовы участвовать в онлайн опросах. Анонимность.

Помимо отсутствия в выборке части целевой аудитории, сложно назвать случайным отбор респондентов в онлайн-опросах. Среди пользователей интернета не все готовы участвовать в онлайн онлайн-анкетировании. Насколько участники онлайн-опросов отличаются от остальных пользователей интернета? Насколько заказчику важно учитывать мнение той части своей аудитории, которая опасается принимать участие в онлайн-исследовании или не знает, что это такое и как можно стать участником? С точки зрения полученных результатов - критично будет отсутствие в выборке респондентов, которые не заинтересовались вознаграждением за участие в таком опросе?

При заявленной анонимности проведения онлайн-опросов, многие настороженно относятся к анонимности в интернете и это является барьером для участия в исследованиях на чувствительные темы. Опрос на улице в таком случае выигрывает из-за отсутствия последствий даже в теории.

3. В выборке онлайн-опроса могут оказаться только заинтересованные в теме исследования

Если тема исследования стала понятна респонденту и ему не интересна, он может прервать заполнение. В таком случае в полученной базе будет искажение в пользу заинтересованных и недобор мнений незаинтересованных в исследуемой теме. Такая проблема («самоотбор» респондентов) описывается в учебниках как ошибка выжившего.

Это – ошибка отбора, когда по одной группе объектов («выжившим») данных много, а по другой («погибшим») — мало или практически нет. Такое искажение выборки аналитик не может выявить на этапе анализа анкет, т.к. он получает уже неслучайную выборку, и не имеет никакой возможности оценить масштабы и последствия искажения.

Такое искажение выборки при внедрении услуги может привести к ситуации, когда реальный спрос не соответствует рассчитанному в результате исследования и расчетные показатели финансовой модели не подтверждаются на практике.

4. В выборке онлайн-опроса может не оказаться важных сегментов потребителей

В силу занятости и отсутствии стимула тратить время на опросы традиционно в онлайн-опросах в меньшей степени участвуют высокодоходные потребители. Если исследуется аудитория выше среднего или род деятельности предполагает высокую занятость, есть высокий риск получить нерелевантную выборку и искаженные результаты. При проведении личных интервью выбор места существенно влияет на профиль респондентов, например, аудитория с доходами выше среднего может опрашиваться возле бизнес-центров (с соответствующими вопросами-фильтрами в начале интервью). Соответствие респондентов требованиям к аудитории (фильтрам) подтверждается при прослушивании аудиозаписей, а место опроса – с помощью геолокации интервью (фиксируется в мобильном приложении для проведения опросов).


геометки очного опроса Москва-Сити
Геометки очного опроса, иллюстрирующие место опроса высокодоходной публики (около Московского международного делового центра «Москва-Сити»)


Сложно собирать анкеты возрастной аудитории – они в меньшей степени склонны участвовать в онлайн опросах. Если при решении задач исследования такие сегменты должны быть в выборке и их доля должна соответствовать структуре генеральной совокупности, в онлайн исследовании есть риск получить заниженную долю этих сегментов.

Возрастная структура для очного и онлайн опроса
В Москве, согласно официальной статистике, 32% жителей старше 55 лет. Это заметная часть потребителей, которую невозможно не учитывать при проведении большинства маркетинговых исследований. При средней продолжительности жизни 70 лет, этот возрастной сегмент жителей - активные потребители, оказывающие существенное влияние на многие рынки.


Примером труднодостижимых сегментов потребителей, которые не попадают в выборки онлайн-опросов являются мигранты. В очных интервью шансы включения их в выборку существенно выше.



ВОЗМОЖНЫЕ СЛОЖНОСТИ СО СБОРОМ НЕОБХОДИМОГО РАЗМЕРА ВЫБОРКИ
5. Низкая мотивация респондентов к участию

В случае, если в онлайн-опросе стимулирование к участию реализовано в виде вознаграждения 100-150 рублей, выборка может иметь искажение в пользу граждан, для которых такая сумма значима.

В офлайн-опросах основной мотивацией является личное общение с интервьюером и сбор данных обеспечивается мастерством интервьюера.

6. Низкая конверсия онлайн опросов (низкая доля участников от общего числа)

При проведении массовых количественных опросов населения низкая конверсия не является существенной проблемой – необходимый размер выборки скорее всего будет получен. Однако, если исходная база ограничена респондентами одного региона/города/района или размером клиентской базы, есть риски не получить требуемый размер выборки.


Геометки очного опроса населения в зоне притяжения торгового объекта Заказчика

Геометки очного опроса населения в зоне притяжения торгового объекта Заказчика



РИСКИ НИЗКОГО КАЧЕСТВА ПОЛУЧАЕМЫХ ДАННЫХ
7. Неверифицируемый профиль респондентов

При проведении очного опроса интервьюер видит респондента и (в проектах, где это требуется) может избирательно приглашать к участию в интервью. В онлайн опросах нет инструментов проверки соответствия респондента требуемому профилю. Т.е. если респондент из любопытства или шутки ради участвует в опросе на тему, к которой не имеет никакого отношения, его ответы будут анализироваться вместе с полноценными анкетами.

В выборке интернет-опроса с использованием онлайн панели респондентов могут оказаться так называемые «профессиональные респонденты», которые регистрируются на всех возможных специализированных онлайн-панелях для участия в платных опросах. При этом, нередки случаи, когда для увеличения количества приглашений от исследователей, «профессиональный респондент» указывает в своём профиле максимально разносторонний портрет (потребитель максимума услуг и товаров), завышает личные доходы или заполняет несколько профилей на различные ФИО.

8. Опрос в процессе получения услуги

В некоторых социологических или маркетинговых исследованиях важно получить информацию от респондентов в момент получения услуги или через короткий промежуток времени (пока респонденты не забыли подробности). В очном опросе эта задача решается выбором места и времени опроса, а при онлайн-исследовании такие возможности отсутствуют.


Геометки очного опроса пассажиров а/п Шереметьево и МЦД-1
Геометки очного опроса пассажиров а/п Шереметьево и пассажиров Аэроэкспресса / МЦД-1 в пути


9. Размер анкеты и длительность заполнения анкеты

Анкеты онлайн-опросов имеют более жесткие ограничения по длительности интервью. Это связано с тем, что самостоятельное заполнение анкет не предполагает живого общения и достаточно монотонно. Не заполненные до конца анкеты не попадают в базу для анализа. Вторая проблема длинных анкет в онлайн-опросах – в момент усталости часть респондентов может невнимательно читать вопросы, ставить галочки наугад и пр. Искажения, связанные с некачественным заполнением анкет, верифицируются плохо и качество данных в таком случае быть существенно ниже, чем при очном опросе.

10. Качество заполнения анкеты на смартфоне

Большинство респондентов проходит анкетирование на смартфоне, и это влияет на качество рассматриваемых изображений (они маленькие!), точность попадания пальцем в нужный квадратик, сложности с заполнением табличных вопросов на экране. В личных опросах интервьюер, как правило, использует планшет и размер экрана в таком случае имеет значение.

11. Низкое качество ответов на открытые вопросы

Онлайн самозаполнение открытых вопросов по сравнению с офлайн методами дает сокращенные фразы и существенно меньше ответов - респондентам лень много печатать.

Очные или телефонные интервью позволяют удерживать респондента 10-12 минут (размер анкеты - около 25 вопросов), интервьюер контролирует внимание респондента, гарантирует зачитывание всех формулировок. Face-to-face опросы обязательно проводятся с аудиозаписью интервью, сверка аудиозаписи с заполненной анкетой позволяет осуществлять не только сам факт проведения работ, но и качество читки формулировок анкеты интервьюером. При показе изображений интервьюер контролирует внимательное рассмотрение респондентом графических материалов.

12. Пилотаж анкеты и обратная связь от целевой аудитории

Исследовательские анкеты необходимо тестировать перед запуском полевых работ. В телефонных и личных интервью процедура пилотного тестирования (пилотаж) анкет – обязательный этап работ. Пилотаж анкет позволяет:

  • оценить долю фильтров при отборе респондентов, соответствующих требованиям к целевой аудитории (конверсию); - оценить понимание формулировок и логику анкеты; - оценить реальную длительность интервью и готовность респондентов к полному заполнению анкет; - оценить оптимальный порядок вопросов; - оценить конверсию - сколько анкет можно собрать с рейса, какие ресурсы/сроки потребуются для выполнения опроса - подстроить шкалу; оценить долю фильтров при отборе респондентов, соответствующих требованиям к целевой аудитории (конверсию);
  • оценить понимание формулировок и логику анкеты;
  • оценить реальную длительность интервью и готовность респондентов к полному заполнению анкет;
  • оценить оптимальный порядок вопросов;
  • оценить конверсию - сколько анкет можно собрать с рейса, какие ресурсы/сроки потребуются для выполнения опроса - подстроить шкалу;

Пилотаж показывает реальную механику опроса: взаимодействие интервьюера, анкеты и респондента. Обратная связь от респондентов в течение пилотажа позволяет сделать настройки и обеспечить максимальное качество исследования.

Даже если пилотаж не выявил какие-либо огрехи анкеты, интервьюеры в ходе полевых работ могут столкнуться с недостатками и оперативно проинформировать аналитиков о необходимости корректировок.
Онлайн-опрос не располагает такими возможностями.



Ниже приведен чек-лист с перечнем вопросов для оценки применимости онлайн-опроса для Вашего исследования:


  1. Подавляющее большинство нашей целевой аудитории пользуется интернетом.
  2. Ваша аудитория психологически и технически готова к самозаполнению анкет в онлайне.
  3. Тема исследования интересна всем респондентам и большинство заполнит анкету до конца.
  4. Мнение высокодоходных, занятых и возрастных лиц не важно для принятия решений.
  5. Стимулирование в виде 30(!)-200 рублей за заполненную анкету не искажает профиль респондентов относительно портрета Вашей целевой аудитории.
  6. Исследование изучает массовый рынок и низкая конверсия не помешает собрать необходимое количество анкет.
  7. Ответы респондентов не должны быть получены во время/сразу после получения услуги или в какой-либо конкретной географической точке.
  8. Анкета содержит не более 15 вопросов (без табличных вопросов).
  9. В анкете нет открытых вопросов или низкое качество информации по ним не принципиально.
  10. Анкета достаточно проста, чтобы можно было обойтись без пилотажа.
  11. Не требуется первичная информация (аудиозаписи, геолокация) для гарантий качества работ.
  12. Не требуется первичная информация (аудиозаписи, геолокация) для доказательства проведения опроса в ФАС, Арбитражный Суд.



Мы не предлагаем "универсальный" прайс-лист с ценами на полевые маркетинговые исследования, так как он не может учесть специфику проектов, "обманывает" клиентов как в меньшую, так и в большую сторону.

Обратитесь в агентство удобным для Вас способом. После разговора с клиентом СканМаркет бесплатно предоставит проект технического задания на маркетинговое исследование (ТЗ) с реальной стоимостью Вашего исследования и сроками проекта.

Вы можете подписаться на уведомления о новых материалах СканМаркет