Холл-тесты

Организация холл-теста включает в себя планирование и организацию работ: отбор респондентов в выборку, составление графика тестирования, организация места и создание условий для тестирования, опрос респондентов и анализ результатов.

Порядок выполнения холл-теста может включать следующие этапы:

1. Определение целей и задач тестирования. Это – определение цели, конкретных исследовательских вопросов, на которые необходимо ответить, и формата результатов.
2. Определение целевой аудитории. Выбор соответствующих демографических, географических и потребительских характеристик выборки. Написание скринера (фильтрующей анкеты для рекрута).
3. Разработка анкеты для участников холл-теста. Программинг анкеты в специализированном ПО.
4. Выбор месторасположения, характеристики помещения, подготовку оборудования и создание нужной атмосферы для проведения теста.
   При исследованиях продуктов питания часто используется оборудование:
   - холодильники/морозильники, электроплиты, духовые шкафы;
   - мебель для имитации полки.
   
5. Рекрутинг и запись участников. Для этого необходимо найти потенциальных участников, проверить их на соответствие выборочным критериям и распланировать по времени их участие в тестировании.
   Респонденты могут рекрутироваться «с улицы» рядом с помещением холл-теста. Такой вариант эффективен, если доля целевой аудитории в потоке велика. Если доля целевой аудитории невелика в потоке пешеходов, рекрутинг осуществляется заранее (предварительный рекрутинг). Обычно холл-тесты с «предрекрутом» несколько дороже, так как на формирование выборки требуется больше усилий.
6. Проведение холл-теста. Включает в себя проведение теста, наблюдение за участниками и сбор данных (опрос или анкетирование участников теста).
7. Анализ и интерпретация результатов: обработка и изучение данных, выявление тенденций и закономерностей аналитиком агентства.
8. Подготовка отчета или презентации результатов. Данный этап включает в себя обобщение полученных результатов, построение диаграмм и таблиц для их наглядного отображения, а также написание выводов и рекомендаций для заказчика исследования.

В целом, организация холл-тестов в маркетинге требует тщательного планирования и внимания к деталям, чтобы тест прошел гладко и дал точные и ценные сведения о тестируемом продукте или концепции.

Когда речь идет о запуске нового продукта или услуги, одним из ключевых факторов, которые необходимо учитывать, является обратная связь от потребителей. Проведение маркетинговых исследований должно быть одним из главных приоритетов, чтобы оценить удовлетворенность потребителей и определить, существует ли реальный спрос на продукт или услугу. Именно здесь на помощь приходят холл-тесты - особый вид маркетинговых исследований.

Чтобы понять, хорош ли ваш продукт, одних только лабораторных тестов или мнения экспертов недостаточно.

Холл-тест – это метод маркетинговых исследований, применяющийся для потребительского тестирования продуктов или концепций. Холл-тест относится к количественным методам, то есть проводится по репрезентативной выборке, а полученные выводы могут распространяться на всю целевую аудиторию (при достаточно большом объеме выборки).

Название метода произошло от слова «холл» (hall – зал, холл), поскольку тестирование по этому методу проводится в специальном помещении, куда приглашаются участники (респонденты). После тестирования респонденты отвечают на вопросы анкеты. В зарубежной практике hall test может также называться central location test (опрос с центральной локацией, студийное тестирование).

Существует альтернативный метод тестирования продукта, который называется «хоум-тест» (home test, home-user test). Он отличается от холл-теста тем, что респондентам предлагается протестировать продукт у себя дома, а затем ответить на вопросы анкеты. Подробнее о хоум-тестах читайте здесь.

Одна из особенностей метода холл-теста заключается в том, что он обеспечивает прямое взаимодействие респондентов с продуктом, что позволяет получить более подробную обратную связь и понимание тестируемого продукта или концепции. Кроме того, условия тестирования можно контролировать. Это позволяет обеспечить более высокую объективность процесса тестирования и анализа полученных данных.

Холл-тест может решать следующие глобальные задачи:

• снижение рисков ошибки при запуске нового продукта;
• создание продукта, превосходящего продукт конкурентов
• контроль качества продукта, уже представленного на рынке.

Результаты холл-тестирования имеют неоценимое значение для определения того, будет ли новый продукт успешным или нет. Продукт должен выходить на рынок только после того, как тестирование нового продукта подтвердит, что у него есть все шансы на успех. Холл-тесты позволяют выявить и устранить любые проблемы и опасения, которые могут возникнуть у потребителей по поводу продукта, до того, как он появится на полках магазинов. Это помогает избежать напрасных затрат и негативного влияния на репутацию компании.

Холл-тесты особенно полезны при тестировании новых продуктов, когда мало что известно о предпочтениях или ожиданиях потребителей. Без холл-тестов маркетологу трудно определить, какие улучшения можно внести в новый продукт или услугу, чтобы они отвечали потребностям клиентов.

Кроме того, в результате холл-тестов может быть получена лексика реальных потребителей, использование которой в рекламе, на упаковке сделает продукт более привлекательным и понятным для целевой аудитории.

Спектр задач, решаемых с помощью холл-тестов, довольно широк:

• Изучение отношения потребителей к продуктам, брендам, производителям
• Разработка нового продукта, тестирование концепции продукта
• Поиск незанятых рыночных ниш
• Сравнение продукта с конкурирующими продуктами, продуктами-заменителями
• Оценка потребительских свойств продукта с целью их улучшения
• Оценка соответствия существующего продукта текущим рыночным требованиям
• Выявление наиболее значимых для потребителей свойств продукта при позиционировании его на рынке
• Получение информации о поведении потребителей (критерии/схемы выбора продукта, объем и частота потребления и др.)
• Тестирование различных модификаций продукта
• Тестирование названий продуктов, наименований торговых марок, логотипов, слоганов, рекламных материалов, аудио- и видеороликов и т.д.
• Определение оптимальной цены продукта.

Чаще всего холл-тесты проводятся для таких товарных категорий, как:

• Продукты питания – возможно тестирование продуктов питания, не только готовых к употреблению (ready-to-eat), но и требующих приготовления (ready-to-cook), и даже отдельных ингредиентов
• Товары для красоты и здоровья (за исключением средств личной гигиены)
• Бытовая химия
• Товары для дома
• Бытовая техника (не крупная)
• Электроника.

Тем не менее, холл-тесты могут служить источником ценной информации и для многих других товарных категорий.

Можно выделить несколько основных этапов проведения холл-теста:

Четко определите тип обратной связи, которую вы надеетесь получить от своей аудитории. Разработайте анкету для холл-теста с вопросами, на которые респонденты должны ответить после тестирования продукта.

В ходе холл-тестов может оцениваться как один продукт, так и несколько. Например, могут оцениваться и сравниваться продукт Заказчика и конкурирующий продукт, либо несколько модификаций одного продукта (с разной рецептурой, упаковкой и др.).

Существует множество различных подходов к организации процедуры оценки продуктов в холл-тестах. Определенный подход выбирается в зависимости от целей и задач исследования, особенностей продукта и целевой аудитории. Вот пять наиболее распространенных подходов:

1) Монадический тест: Каждый участник фокусируется только на одном продукте. Цель – определить, будет ли этот продукт принят потребителями, когда он появится на рынке.

2) Тест парного сравнения: Каждому участнику одновременно показывают два продукта и просят сравнить их на основе набора стандартизированных критериев для составления относительных рейтингов.

3) Последовательно-монадический тест: Каждый участник оценивает два продукта по отдельности (аналогично монадическому тесту), а затем, когда этот процесс завершен, повторно оценивает их вместе для составления относительных рейтингов (аналогично тесту парного сравнения). Этот тест часто используется для нейтрализации естественной тенденции многих участников преувеличивать различия, когда они сравнивают только два продукта одновременно.

4) Прото-монадический тест: Этот тест похож на последовательно-монадический тест, но с существенным отличием: участников не просят оценивать второй продукт независимо. Например, участника просят оценить продукт №1 самостоятельно, а затем просят сравнить/противопоставить продукт №1 и продукт №2. Исследователи чередуют, какой продукт оценивается независимо, так что в конце процесса у них есть 50 процентов респондентов, которые оценили продукт №1 независимо и сравнили продукт №1 и продукт №2, и 50 процентов, которые оценили продукт №2 независимо и сравнили продукт №1 и продукт №2.

5) Повторный тест парного сравнения: Участники сравнивают одну и ту же пару продуктов два или более раз. Цель такого повторения – повышение уверенности в том, что отзывы не были случайными или основанными на первоначальных впечатлениях (например, если участник не любит красный цвет, а оцениваемый продукт поставляется в красной упаковке, его первоначальная реакция может быть резко отрицательной; однако после повторной оценки того же продукта позже он может отбросить субъективную неприязнь и сосредоточиться на других аспектах, более важных для исследователей, таких как функциональность продукта, выполнение обещаний, приятный вкус и т.д.).

Кроме того, исследование может включать тестирование продукта с контрольной группой (не получившей продукт), чтобы сравнить их ответы с ответами участников, опробовавших продукт. Также возможно применение «слепого» тестирования, когда с тестируемых продуктов/упаковок удаляются названия брендов и фирменные цвета, чтобы избежать влияния, вызванного ассоциациями с брендом.

Объем выборки – это количество людей, которые примут участие в тестировании. Чем больше объем выборки, тем выше точность измерений. Рекомендуемый объем выборки для холл-теста – 150-300 респондентов. Объем выборки также может прямо зависеть от количества тестируемых продуктов и сегментов потребителей. Следует учитывать, что с ростом объема выборки увеличиваются стоимость и сроки исследования. Подробнее о выборке читайте здесь

Как правило, холл-тест проводится в закрытом помещении со свободным доступом (студии), хотя может проводиться и в других местах, например, в торговом центре, магазине или точке общепита. Обычно помещение для холл-теста подбирает агентство.

Для тестирования широких групп потребителей будет удобно, если студия для холл-теста располагается в местах с высоким пешеходным трафиком, откуда удобно рекрутировать респондентов.

Желательно, чтобы в студии, помимо зала для тестирования, было отдельное помещение для хранения тестируемых образцов, холодильное оборудование для пищевых продуктов. Наличие кухни – важное преимущество помещения для холл-тестов.

При необходимости приготовления или разогрева образцов от Заказчика требуется точный протокол, соблюдение которого обеспечит требуемые характеристики и температуру образцов.

Важно, чтобы те, кто будет тестировать продукт, представляли собой репрезентативный срез целевого рынка. В качестве критериев для отбора респондентов в выборку могут использоваться как социально-демографические характеристики, так и опыт использования продукта или товарной категории.

Респонденты для холл-теста могут рекрутироваться как на улице незадолго до начала исследования, так и заранее – по телефону или через интернет. Перед тем как пригласить их к участию в холл-тесте, их опрашивают по короткой анкете (скринеру), позволяющей определить, соответствуют ли они заданным критериям отбора.

При предварительной записи респондента для участия в холл-тесте необходимо выбрать удобное для него время. Как правило, выборка исследования достаточно большая, и респонденты делятся на несколько групп, которые проходят тестирование в разное время.

Этот этап подразумевает создание определенных условий для того, чтобы участники могли попробовать продукт, а также сбор их отзывов.

В ходе холл-теста может воссоздаваться ситуация потребления продукта, приближенная к реальной (симуляция)

Формы взаимодействия респондентов с продуктами могут быть различными:

• Дегустация продукта. В ходе нее оценивается вкус, запах и другие свойства продукта.
• Показ и ознакомление с реальными образцами продукции. В этом случает могут оцениваться дизайн продукта, удобство использования, эффективность его работы.
• Показ прототипов продукции. Например, вместо работающего устройства может использоваться его муляж, который выглядит, как настоящее устройство, но не имеет электронной «начинки».
• Просмотр видео, презентаций, изображений. Таким образом могут тестироваться концепции: продуктовые, рекламные и др.
• Моделирование покупки в магазине. В этом случае в студии могут быть установлены полки с настоящими товарами и ценниками, а респонденты попадают в ситуацию выбора, приближенную к реальной, и могут в реальном времени озвучивать ход своих мыслей в процессе «покупки».

Для создания соответствующей среды или атмосферы могут использоваться оборудование или декорации. Например, студия может быть оформлена как кафе или кухня.

После проведения тестов респонденты отвечают на вопросы анкеты исследования. Респонденты либо заполняют анкету самостоятельно, либо их опрашивают интервьюеры.

Помимо ответов на вопросы анкеты могут собираться и данные наблюдения за поведением респондентов в ходе взаимодействия с продуктом.

Также существует практика совмещения холл-теста с фокус-группами.

По окончании холл-теста необходимо проанализировать полученные результаты, чтобы выявить какие-либо находки (инсайты) или потенциальные области для улучшения продукта.

Поскольку холл-тесты относятся к количественным методам исследований, при обработке полученных данных могут использоваться различные статистические методы анализа данных.

Анализ отзывов, полученных в ходе холл-теста, позволяет маркетологам внести необходимые коррективы или изменения в продукт, которые повысят его шансы на успех.

• Главное преимущество холл-тестов, по сравнению с другими методами исследований, – непосредственное взаимодействие респондентов с исследуемым продуктом. В результате получаются оценки и отзывы, в меньшей степени основанные на отвлеченных соображениях респондента, и в большей степени основанные на недавнем опыте пользования продуктом. Таким образом, холл-тесты позволяют получить информацию, которую невозможно или затруднительно получить другими методами.
• Холл-тесты относятся к количественным исследованиям. Это значит, что, в отличие от качественных методов (фокус-групп и глубинных интервью), полученные выводы можно с известной точностью распространить на всю целевую аудиторию и использовать для четко обоснованных бизнес-решений.
• Возможность оценки не только визуальной информации, но и аудиальной, вкусовой, обонятельной, осязательной, как по отдельности, так и в комбинациях
• Возможность проведения длительных интервью (более 30 минут) по анкете с большим количеством вопросов
• Возможность использования различных наглядных материалов (карточек, видео, изображений, макетов, плакатов и др.)
• Более высокий уровень контроля работы интервьюеров
• Возможность проведения исследования при плохих погодных условиях
• По сравнению с хоум-тестами, тестирование в студии имеет следующие преимущества:
  a) более строгий скрининг участников (дома к тестированию могут подключиться другие домочадцы);
  b) более жесткий контроль использования продукта (при домашнем тестировании респонденты могут отклоняться от инструкций, забывать записывать свои впечатления и т.п.);
  c) более жесткий контроль условий тестирования. Например, при необходимости создаются одинаковые условия для всех респондентов; одинаковые характеристики продукта (блюдо приготовлено одинаковым способом для всех респондентов).

• Более высокая стоимость по сравнению с опросом потребителей;
• Низкая оперативность сбора данных по сравнению с опросом;
  
• Сложность рекрутирования труднодоступных групп респондентов; 
• Необходимость в специальном помещении, оборудовании;
• Месторасположение помещения может затруднять рекрутирование некоторых респондентов;
• Не подходит для продуктов с отложенным эффектом (например, у крема от морщин можно оценить упаковку, запах, густоту, но косметический эффект виден не сразу);
• Не вполне естественная ситуация потребления, хотя и приближенная к реальной;
• Не очень расслабляющая обстановка, что может сковывать некоторых респондентов в их действиях и суждениях.

Ниже приведены примеры диаграмм для демонстрации аналитических инструментов и внешнего вида отчетов.

Холл-тест позволяет (среди прочих параметров) выяснить, насколько продукт в целом нравится респондентам (Рис.2 и Рис.3).

Рис.2. Общая удовлетворенность продуктом. Распределение оценок по 5-балльной шкале

Рис.3. Общая удовлетворенность продуктом. Средняя оценка по 5-балльной шкале, где 1- очень плохо, а 5 - превосходно

На базе оценок продуктов, поставленных респондентами, можно разделить респондентов на несколько групп, в зависимости от того, насколько похожи их оценки тех или иных продуктов. Например, респондентам из кластера 1 больше нравятся образцы 1 и 2, а респондентам из кластера 2 – образцы 3 и 5. На основании этих данных можно выдвинуть гипотезу о том, что на рынке существуют два сегмента потребителей с разными предпочтениями. Также можно провести сравнительный анализ этих двух сегментов по другим признакам (например, по частоте и объему потребления продукции, социально-демографическим характеристикам и др.).

Рис.4. Кластеры потребителей, выделенные на базе их общих оценок различных образцов продукции

Помимо оценки продукта, холл-тест позволяет оценить и готовность респондентов купить продукт (Рис.5 и Рис.6).

Рис.5. Готовность купить продукт

Рис.6. Готовность купить один из двух тестируемых образцов продукта

Холл-тест позволяет сравнить тестируемые продукты по характеристикам и выделить их сильные и слабые стороны (Рис.7).

Рис.7. Сравнение тестируемых продуктов по характеристикам (средние оценки по 5-балльной шкале)

Характеристики продукта могут оцениваться не только с точки зрения «нравится-не нравится», но и с точки зрения выраженности свойства: например, консистенция продукта может показаться респондентам слишком жидкой или слишком густой, либо такой как нужно (Рис.8).

Рис.8. Пример оценки консистенции тестируемого продукта

Также может замеряться степень соответствия реальной характеристики продукта заявленной (Рис.9).

Рис.9. Соответствие продуктов заявленному свойству

Анализ соответствий – это метод анализа данных, позволяющий наглядно представить, каким характеристикам в наибольшей степени соответствуют различные продукты в сознании потребителей (Рис.10). В качестве характеристик могут выступать не только продуктовые характеристики, но и идеи/концепции (например, «для всей семьи», «спортивный», «молодежный» и др.)

Рис.10. Анализ соответствий тестируемых образцов и их характеристик

В ходе холл-теста могут оцениваться не только непосредственные характеристики продуктов, но и соответствие продуктов каким-либо идеям/утверждениям (Рис.11). Полученная информация может использоваться для разработки стратегии позиционирования продукта на рынке.

Рис.11. Степень согласия респондентов с утверждениями о продукте

Penalty analysis (Рис.12) – это методика, позволяющая определить приоритетные пути улучшения продукта на базе выявленного влияния определенных характеристик продукта на его итоговую оценку. Влияние определяется как снижение средней оценки продукта (mean drop) в группе респондентов, оценивших характеристику не на уровне "такая, как нужно". Наиболее приоритетными характеристиками продукта, требующими изменения, являются характеристики, "ненормальность" которых более всего снижает итоговую оценку продукта при том, что эту "ненормальность" отметила наибольшая доля респондентов.

Рис.12. Penalty analysis – какие характеристики продукта нужно изменить?

О возможных улучшениях продукта можно спросить респондентов напрямую (Рис.13).

Рис.13. Улучшения продукта, предложенные респондентами

Холл-тест также позволяет определить оптимальную цену тестируемого продукта. Один из возможных подходов – использование кривой эластичности по цене (Рис.14).

Рис.14. Кривая эластичности с точкой оптимальной цены продукта (точка максимальной выручки)

Другой возможный подход к определению оптимальной стоимости продукта – методика Price Sensitivity Meter, сокращенно PSM (Рис.15).

Методика PSM заключается в том, что респондентам задаются четыре вопроса, касающиеся их чувствительности к цене:

• Какая цена на этот продукт является настолько высокой, что вы не станете его покупать?
• Какая цена этого продукта кажется вам настолько низкой, что встает вопрос о его качестве?
• Какая минимальная цена этого продукта кажется вам высокой, но за которую его все-таки возможно купить?
• За какую цену вы купили бы этот продукт, считая это весьма выгодной покупкой?

На базе ответов на эти вопросы строятся четыре кривые: «слишком дорого», «слишком дешево», «дорого», «дешево». Точки пересечения этих кривых определяют оптимальный ценовой диапазон для продукта, а также значения оптимальной цены продукта и «безразличной» цены (ни дорого, ни дешево).

В холл-тестах методика PSM часто используется в сочетании с другими подходами для получения всестороннего понимания поведения и предпочтений потребителей. Помимо холл-тестов, методика PSM может использоваться и в других методах исследований, например, опросах потребителей.

Рис.15. Методика PSM (Price Sensitivity Meter) – определение оптимальной цены продукта

Кондитерская фабрика «Круг»