Развитие технологий предлагает рынкам новые решения и область социологических исследований – не исключение. В период карантина проведение фокус-групп и глубинных интервью гармонично переместилось из очного формата в дистанционный. Помимо программных продуктов, облегчающих хранение, сбор и анализ данных, к традиционным полевым методам сбора информации добавились онлайн-опросы. В агентство СканМаркет часто поступают запросы на расчет стоимости маркетинговых исследований методом онлайн-опросов. Для решения некоторых исследовательских задач проведение интернет-опроса намного эффективнее телефонных или личных опросов. Преимущества онлайн-опросов очевидны – низкая стоимость, оперативность, возможность доступа к активным онлайн-пользователям. Однако, в ряде случаев выбор интернет-опроса не соответствует целям и задачам социологического или маркетингового исследования, а исполнители не всегда предупреждают клиентов о недостатках онлайн-опросов.
В статье рассмотрены причины, по которым онлайн-исследование не рекомендуется или несет большие риски получения недостоверной информации. Онлайн-анкетирование будет сравниваться с очным опросом, так как оба эти метода полевых исследований позволяют показывать респондентам изображения (в отличие от телефонного опроса).
В конце статьи приведен чек-лист, благодаря которому Вы самостоятельно сможете оценить, насколько недостатки онлайн-опросов актуальны в Вашем случае.
Одним из принципиальных требований к выборке является репрезентативность. Полностью репрезентативная выборка – это недостижимый идеал, но на стадии разработки дизайна маркетингового исследования выбирается метод, обеспечивающий наибольшее соответствие структуры респондентов составу генеральной совокупности. В случае, если целевая аудитория активно пользуется интернетом (например, программисты, игроки компьютерных игр, веб-дизайнеры, лица, чья работа или хобби сильно связана с интернетом), поиск респондентов и их опрос в интернете по сравнению с телефонным или личным опросом обеспечит более точное попадание в нужную аудиторию и удешевит стоимость исследования. Однако, если исследуемая тема не связана с интернетом или какой-то сегмент целевой аудитории не является активными интернет-пользователями, то часть аудитории недоступна при выборе онлайн-опроса. Таким образом, выбор онлайн метода сразу исключает из выборки часть аудитории. Такое искажение выборки относительно генеральной совокупности может быть фатальным не зависимо от размера выборки, качества анкеты и прочих рабочих вопросов.
Такая ошибка описывается анекдотом:
онлайн-опрос населения показал, что 100% населения пользуется интернетом. Очевидно, нельзя выяснять спрос на автобусные перевозки на остановке автобуса или спрос на недвижимость в офисе застройщика.
Помимо отсутствия в выборке части целевой аудитории, сложно назвать случайным отбор респондентов в онлайн-опросах. Среди пользователей интернета не все готовы участвовать в онлайн онлайн-анкетировании. Насколько участники онлайн-опросов отличаются от остальных пользователей интернета? Насколько заказчику важно учитывать мнение той части своей аудитории, которая опасается принимать участие в онлайн-исследовании или не знает, что это такое и как можно стать участником? С точки зрения полученных результатов - критично будет отсутствие в выборке респондентов, которые не заинтересовались вознаграждением за участие в таком опросе?
При заявленной анонимности проведения онлайн-опросов, многие настороженно относятся к анонимности в интернете и это является барьером для участия в исследованиях на чувствительные темы. Опрос на улице в таком случае выигрывает из-за отсутствия последствий даже в теории.
Если тема исследования стала понятна респонденту и ему не интересна, он может прервать заполнение. В таком случае в полученной базе будет искажение в пользу заинтересованных и недобор мнений незаинтересованных в исследуемой теме. Такая проблема («самоотбор» респондентов) описывается в учебниках как ошибка выжившего.
Это – ошибка отбора, когда по одной группе объектов («выжившим») данных много, а по другой («погибшим») — мало или практически нет. Такое искажение выборки аналитик не может выявить на этапе анализа анкет, т.к. он получает уже неслучайную выборку, и не имеет никакой возможности оценить масштабы и последствия искажения.
Такое искажение выборки при внедрении услуги может привести к ситуации, когда реальный спрос не соответствует рассчитанному в результате исследования и расчетные показатели финансовой модели не подтверждаются на практике.
В силу занятости и отсутствии стимула тратить время на опросы традиционно в онлайн-опросах в меньшей степени участвуют высокодоходные потребители. Если исследуется аудитория выше среднего или род деятельности предполагает высокую занятость, есть высокий риск получить нерелевантную выборку и искаженные результаты. При проведении личных интервью выбор места существенно влияет на профиль респондентов, например, аудитория с доходами выше среднего может опрашиваться возле бизнес-центров (с соответствующими вопросами-фильтрами в начале интервью). Соответствие респондентов требованиям к аудитории (фильтрам) подтверждается при прослушивании аудиозаписей, а место опроса – с помощью геолокации интервью (фиксируется в мобильном приложении для проведения опросов).
Геометки очного опроса, иллюстрирующие место опроса высокодоходной публики (около Московского международного делового центра «Москва-Сити»)
Сложно собирать анкеты возрастной аудитории – они в меньшей степени склонны участвовать в онлайн опросах. Если при решении задач исследования такие сегменты должны быть в выборке и их доля должна соответствовать структуре генеральной совокупности, в онлайн исследовании есть риск получить заниженную долю этих сегментов.
В Москве, согласно официальной статистике, 32% жителей старше 55 лет. Это заметная часть потребителей, которую невозможно не учитывать при проведении большинства маркетинговых исследований. При средней продолжительности жизни 70 лет, этот возрастной сегмент жителей - активные потребители, оказывающие существенное влияние на многие рынки.
Примером труднодостижимых сегментов потребителей, которые не попадают в выборки онлайн-опросов являются мигранты. В очных интервью шансы включения их в выборку существенно выше.
В случае, если в онлайн-опросе стимулирование к участию реализовано в виде вознаграждения 100-150 рублей, выборка может иметь искажение в пользу граждан, для которых такая сумма значима.
В офлайн-опросах основной мотивацией является личное общение с интервьюером и сбор данных обеспечивается мастерством интервьюера.
При проведении массовых количественных опросов населения низкая конверсия не является существенной проблемой – необходимый размер выборки скорее всего будет получен. Однако, если исходная база ограничена респондентами одного региона/города/района или размером клиентской базы, есть риски не получить требуемый размер выборки.
Геометки очного опроса населения в зоне притяжения торгового объекта Заказчика
При проведении очного опроса интервьюер видит респондента и (в проектах, где это требуется) может избирательно приглашать к участию в интервью. В онлайн опросах нет инструментов проверки соответствия респондента требуемому профилю. Т.е. если респондент из любопытства или шутки ради участвует в опросе на тему, к которой не имеет никакого отношения, его ответы будут анализироваться вместе с полноценными анкетами.
В выборке интернет-опроса с использованием онлайн панели респондентов могут оказаться так называемые «профессиональные респонденты», которые регистрируются на всех возможных специализированных онлайн-панелях для участия в платных опросах. При этом, нередки случаи, когда для увеличения количества приглашений от исследователей, «профессиональный респондент» указывает в своём профиле максимально разносторонний портрет (потребитель максимума услуг и товаров), завышает личные доходы или заполняет несколько профилей на различные ФИО.
В некоторых социологических или маркетинговых исследованиях важно получить информацию от респондентов в момент получения услуги или через короткий промежуток времени (пока респонденты не забыли подробности). В очном опросе эта задача решается выбором места и времени опроса, а при онлайн-исследовании такие возможности отсутствуют.
Геометки очного опроса пассажиров а/п Шереметьево и пассажиров Аэроэкспресса / МЦД-1 в пути
Анкеты онлайн-опросов имеют более жесткие ограничения по длительности интервью. Это связано с тем, что самостоятельное заполнение анкет не предполагает живого общения и достаточно монотонно. Не заполненные до конца анкеты не попадают в базу для анализа. Вторая проблема длинных анкет в онлайн-опросах – в момент усталости часть респондентов может невнимательно читать вопросы, ставить галочки наугад и пр. Искажения, связанные с некачественным заполнением анкет, верифицируются плохо и качество данных в таком случае быть существенно ниже, чем при очном опросе.
Большинство респондентов проходит анкетирование на смартфоне, и это влияет на качество рассматриваемых изображений (они маленькие!), точность попадания пальцем в нужный квадратик, сложности с заполнением табличных вопросов на экране. В личных опросах интервьюер, как правило, использует планшет и размер экрана в таком случае имеет значение.
Онлайн самозаполнение открытых вопросов по сравнению с офлайн методами дает сокращенные фразы и существенно меньше ответов - респондентам лень много печатать.
Очные или телефонные интервью позволяют удерживать респондента 10-12 минут (размер анкеты - около 25 вопросов), интервьюер контролирует внимание респондента, гарантирует зачитывание всех формулировок. Face-to-face опросы обязательно проводятся с аудиозаписью интервью, сверка аудиозаписи с заполненной анкетой позволяет осуществлять не только сам факт проведения работ, но и качество читки формулировок анкеты интервьюером. При показе изображений интервьюер контролирует внимательное рассмотрение респондентом графических материалов.
Исследовательские анкеты необходимо тестировать перед запуском полевых работ. В телефонных и личных интервью процедура пилотного тестирования (пилотаж) анкет – обязательный этап работ. Пилотаж анкет позволяет:
- оценить долю фильтров при отборе респондентов, соответствующих требованиям к целевой аудитории (конверсию); - оценить понимание формулировок и логику анкеты; - оценить реальную длительность интервью и готовность респондентов к полному заполнению анкет; - оценить оптимальный порядок вопросов; - оценить конверсию - сколько анкет можно собрать с рейса, какие ресурсы/сроки потребуются для выполнения опроса - подстроить шкалу; оценить долю фильтров при отборе респондентов, соответствующих требованиям к целевой аудитории (конверсию);
- оценить понимание формулировок и логику анкеты;
- оценить реальную длительность интервью и готовность респондентов к полному заполнению анкет;
- оценить оптимальный порядок вопросов;
- оценить конверсию - сколько анкет можно собрать с рейса, какие ресурсы/сроки потребуются для выполнения опроса - подстроить шкалу;
Пилотаж показывает реальную механику опроса: взаимодействие интервьюера, анкеты и респондента. Обратная связь от респондентов в течение пилотажа позволяет сделать настройки и обеспечить максимальное качество исследования.
Даже если пилотаж не выявил какие-либо огрехи анкеты, интервьюеры в ходе полевых работ могут столкнуться с недостатками и оперативно проинформировать аналитиков о необходимости корректировок.
Онлайн-опрос не располагает такими возможностями.
Ниже приведен чек-лист с перечнем вопросов для оценки применимости онлайн-опроса для Вашего исследования:
- Подавляющее большинство нашей целевой аудитории пользуется интернетом.
- Ваша аудитория психологически и технически готова к самозаполнению анкет в онлайне.
- Тема исследования интересна всем респондентам и большинство заполнит анкету до конца.
- Мнение высокодоходных, занятых и возрастных лиц не важно для принятия решений.
- Стимулирование в виде 30(!)-200 рублей за заполненную анкету не искажает профиль респондентов относительно портрета Вашей целевой аудитории.
- Исследование изучает массовый рынок и низкая конверсия не помешает собрать необходимое количество анкет.
- Ответы респондентов не должны быть получены во время/сразу после получения услуги или в какой-либо конкретной географической точке.
- Анкета содержит не более 15 вопросов (без табличных вопросов).
- В анкете нет открытых вопросов или низкое качество информации по ним не принципиально.
- Анкета достаточно проста, чтобы можно было обойтись без пилотажа.
- Не требуется первичная информация (аудиозаписи, геолокация) для гарантий качества работ.
- Не требуется первичная информация (аудиозаписи, геолокация) для доказательства проведения опроса в ФАС, Арбитражный Суд.
Мы не предлагаем "универсальный" прайс-лист с ценами на полевые маркетинговые исследования, так как он не может учесть специфику проектов, "обманывает" клиентов как в меньшую, так и в большую сторону.
Обратитесь в агентство удобным для Вас способом. После разговора с клиентом СканМаркет бесплатно предоставит проект технического задания на маркетинговое исследование (ТЗ) с реальной стоимостью Вашего исследования и сроками проекта.