Оценка качества услуг учреждений культуры
Для краткости изучим на примере музеев, оставив театры за кадром. В статье будут использоваться привычные маркетинговые термины: потребители, услуги, продукт, выгоды, удовлетворенность, лояльность. Уверены, что даже неспециалистам эти термины интуитивно понятны.
Рейтинг может быть составлен для посетителей музеев и являться ориентиром для выбора. Возможно, этот же рейтинг планируется и для внутреннего использования, то есть для решения управленческих задач (14 сентября 2015 года Независимая Газета пишет, что предполагается премирование по результатам рейтинга)
Как подсказывает наш 20-летний опыт, совмещение внешних («потребительских») и внутренних («управленческих») задач в одном рейтинге может сделать его абстрактным и неприменимым для каждого из направлений использования. Опрос удовлетворенности, даже если он проведен правильно, не в состоянии отразить важные вопросы оценки эффективности менеджмента и всей команды музея, такие как:
- экономические и научные показатели сотрудников, международная активность неизвестны посетителям и не будут учтены в рейтинге, даже если представить этот вопрос в анкете;
- масштабы хозяйственной деятельности и усилия по охране/реставрации – не попадают в поле зрения потребителей;
- опрос потребителей не даст количественных характеристик популярности (посещаемости) музея, хотя эти показатели и их динамика важны при оценке деятельности команды;
- музеи-бренды будут получать высокие оценки за заслуги предыдущих поколений работников, а не успехи работающего сегодня персонала;
- внедрение новейших технологий и других инноваций не всегда сразу оценивается потребителями, хотя требует значительных усилий. Если эта деятельность должна быть замечена и оценена потребителями с помощью опросов, то такое стимулирование к переменам «снизу» может оказаться совсем незначительным.
Таким образом, между оценками потребителей и специалистов (профессионалов) могут быть принципиальные противоречия (например, как при оценке авиакомпании пассажирами и надзорными органами по безопасности полетов).
Рейтинг для внутреннего использования должен учитывать более точные и замеряемые факторы, учитывать большее количество параметров, даже если они «не видны» потребителям. Логично просто сделать второй рейтинг - более сложный, отражающий мнение профессионалов.
Музеи тесно связаны с туристической индустрией, в которой уже сформированы ориентиры, наглядно описывающие качество. Например, качество услуг отеля описывается количеством звезд. Возможно, и музеи было бы проще оценивать потребителям в шкале от 0 до 5 звезд.
Рис.1. Классы отелей с привычной классификацией (5 звезд)
Очевидно, что у небольших или специализированных музеев меньше возможностей и ресурсов. Рейтинг их популярности при полностью идеальной работе ограничен технически (размером целевой группы и экспозиции, площадью помещения, штатом персонала). Он даже в теории не может приблизиться к уровню лидеров. С точки зрения потребителя невысокий рейтинг может отпугивать, хотя причиной может быть просто масштаб или специализированная тематика музея. В результате недифференцированный подход к расчету рейтинга будет демотивировать персонал.
На конкурентных рынках аналогичная задача решается внедрением классов или уровней, например,
- Офисные помещения имеют классы (А, B, C).
- Боксеры проводят соревнования в рамках весовых категорий (и обязательно взвешиваются).
Образно говоря, предложенный единый для всех музеев рейтинг моделирует «соревнование» штангистов, которых перед соревнованием не взвешивают. Очевидно, что, независимо от мастерства, самые тяжелые победят, а самые легкие – проиграют. В связи с этим, представляется логичным обозначить несколько категорий и после «квалификации» отнести каждое учреждение к соответствующему уровню. Для каждой категории могут быть прописаны требования и рассчитана верхняя планка рейтинга (потенциал). Аттестация музея должна дать два показателя – к какой категории относится музей и какой рейтинг он занимает в этой категории в настоящее время. В таком случае, независимо от масштабов учреждения, команды будут иметь реальные шансы получить максимальный рейтинг в своей категории. При обозначении рейтинга потребителям будет более понятной пятибалльная (пятизвездная) шкала, а не 100-балльная. Например,
- 5 звезд («мировая» категория)
- 4 звезды («всероссийская» категория)
- 3 звезды («областная/городская» категория)
- …
и периодически принадлежность музея к уровню может пересматриваться как в сторону повышения, так и в сторону понижения категории.
Предположим, музей Дом-музей В.М.Васнецова отнесен к категории 3 звезды и его рейтинг составляет 2,8 звезды. Это означало бы, что это музей областной категории (наверное, небольшой), но для этой категории музеев почти идеальный. Если планируется поход не в самые известные и большие музеи, это отличный выбор для просмотра, например, русской исторической и фольклорной живописи.
Если ставится задача сделать музеи популярными, «модными» современными культурными центрами, придется не только ориентироваться на мнение потребителей (что, безусловно, важно), но и формировать этого нового потребителя. Для этого инициатива изменений в предполагаемом продукте в большей степени должна исходить от музеев, а не от потребителей. Эти показатели, соответственно, должны оценивать специалисты/эксперты отдельно, так как опрос посетителей в этом случае является достаточно грубым и не надежным инструментом.
Ниже приведена маркетинговая схема уровней предлагаемой услуги. Из схемы видно, как стержневая выгода «обрастает» дополнительными услугами. Потребители, приезжая по одному и тому же адресу и просматривая одну и ту же экспозицию, получают разные услуги и готовы платить за них по-разному.
Характеристики, которые оценивают посетители, располагаются на различных уровнях и имеют различную значимость для конкретных посетителей. Возможно, это учитывается при расчете рейтинга с помощью придания оценкам различного веса (методика расчета нам неизвестна), а без весовых коэффициентов, рейтинг больше описывает комфортность «музейного пространства» по выборочным фрагментам сервиса. В анкете по рейтингу отсутствуют, например, такие важные характеристики, как наличие пандусов («безбарьерная среда»), цены или оценка системы скидок, оценка сайта музея
(Как повысить продажи в кафе или лавке сувениров - читать здесь)
Обычно в такого рода анкетах сначала оцениваются частные параметры и только потом общие. Это делается для того, чтобы респондент оценил все составляющие (ему напоминают все важные компоненты), и лишь затем поставил итоговые оценки. В представленной анкете почему-то итоговая оценка идет вперемешку с частными характеристиками. Пример частных параметров и итоговой оценки показан в таблице 1.
Таблица 1. Примеры оценок частных параметров и итоговых оценок
|
Парк культуры и отдыха |
Магазин электроники |
|
· Удобство расположения парка · Услуги питания (кафе, рестораны и т.д.) · Внешний вид и характер посетителей · Уровень цен · Наличие необходимой инфраструктуры (туалеты, урны, скамейки, охрана и т.п.) · Удобство парковок · Аттракционы и другие развлечения · Внешний вид и чистота парка · Ассортимент товаров и услуг · Удобство совершения покупок |
Магазин: · Внутренняя атмосфера · Ассортимент · Цены · Репутация сети · Качество обслуживания Продавец: · Знание товаров продавцом · Внешний вид продавца · Вежливость · Оперативность · Готовность помочь · Итоговая оценка продавца |
|
Общая оценка парка |
Общая оценка магазина |
Очевидно, что итоговая оценка посещения музея включает все впечатления и по своему значению несопоставима с оценками по параметрам. При анализе оценок СканМаркет использует специальную модель, на основе которой рассчитывается влияние оценок частных параметров на итоговую оценку, что очень важно при составлении рейтинга.
Очевидно, что в дальнейшей работе целесообразно итоговые оценки вынести в конец анкеты и выделить графически, т.к. они более значимы и должны иметь существенно больший вес при расчете рейтинга.
Получив низкие оценки в результате опроса по анализируемой анкете, сотрудники музея не смогут реагировать на полученные данные, т.к. даже при 10 оцениваемых параметрах прикладывать усилия к конкретным недостаткам очень сложно. Например, низкая оценка дополнительных услуг (буфет, сувениры, мероприятия) не дает понимания, что именно не устроило посетителей – общепит, сувениры, какие-то абстрактные мероприятия или все вместе. В итоге обратная связь даже от большого количества респондентов будет иметь достаточно размытый характер. Для повышения объективности результатов опросов, их часто дополняют использованием технологии «тайный покупатель».
В этой ситуации существует правило, по которому низкой оценке «тайный покупатель» обязан дать объяснение. Если комментарий отсутствует, значит, эта оценка поставлена некорректно и отражает настроение или другие субъективные причины. Список полученных недостатков – это та фактура, которая даст сотрудникам приоритеты в исправлении низких оценок, а также придаст легитимность самому рейтингу. Низкие оценки без объяснения причин, возможно, придется игнорировать (как спам).
Рекомендация агентства:
Если респондент ставит низкую оценку (по шкале Министерства культуры - удовлетворительно или неудовлетворительно), необходимо предусмотреть всплывающее окно для ответа на уточняющий открытый вопрос («Вы поставили низкую оценку. Укажите, что именно Вам не понравилось? Ваше замечание или пожелание позволит администрации предпринять действия для исправления недостатков»).
Если респондент все равно оставляет низкую оценку без объяснения причин, может появляться сообщение «Укажите причину низкой оценки или оцените характеристику хорошими оценками» или «Низкая оценка без объяснения причин будет автоматически исправлена на «хорошо»).
Усложнение анкеты и интерактивность при заполнении, конечно, сделает ее заполнение более длительным для респондентов, но обеспечит принципиально иное качество анкет (и, соответственно, рейтинга).
К формулировкам оцениваемых параметров масса замечаний. Независимо от целей опроса и рейтинга, составлены они неряшливо и, не побоимся сказать, непрофессионально (с очевидными ошибками). Такая небрежность при составлении анкеты часто дискредитирует саму идею выяснения мнения потребителей (табл.2).
Таблица 2. Недостатки формулировок анкеты
|
Формулировки некоторых вопросов в анкете |
Встречные вопросы респондентов из-за неточных формулировок анкеты. Понимая вопрос по-разному, респонденты будут отвечать на разные вопросы (кто как понял) |
Комментарии/ Рекомендация |
|
1. Как Вы оцениваете уровень информирования о предстоящих выставках и экспозициях, виртуальных экскурсий музея? |
Какую оценку ставить, если информирование о выставках «очень хорошо», а о виртуальных экскурсиях – «неудовлетворительно»? Что делать, если виртуальных экскурсий вообще нет – оценка будет выше, чем, если бы не было информирования о них? Имеется в виду информирование до посещения музея (реклама, Интернет), или в самом музее, когда посетитель уже приехал? Если экскурсовод сказал о предстоящих выставках, а больше нигде не было никакой информации – это какой уровень? Имеется в виду выставка/экспозиция, которая идет (на которую я приехал) или будущая – предстоящая? Уровень информирования – это «качество» рекламы (убедительность, креативность, дизайн) или «количество» (охват потребителей, использование различных медиа, PR) |
Необходимо определить, что именно надо оценивать и точно сформулировать вопрос |
|
4. Удобно ли Вам добираться до музея (пешком, на транспорте)? |
«Я приехал в музей из другого города, конечно, мне неудобно посещать музей на таком расстоянии от дома…» «Если необходимо сделать три пересадки, мне неудобно добираться до музея». Предположим, на машине удобно, пешком – неудобно. Из результатов не будет понятно, из-за чего низкая оценка. Доехать удобно, а припарковаться – невозможно, какая должна быть итоговая оценка. «Я шел от метро и заблудился. Я приехал на автобусе и пришлось спрашивать у прохожих, куда идти». Мне неудобно |
Музей не может переехать. Если потребители приезжают в музей со всей страны, преодолевая расстояния и сложности – низкая оценка в этом вопросе должна поднимать рейтинг, а не опускать его. Более адекватным и практичным был бы вопрос о навигации (указатели, информационные стенды, разметка) в районе месторасположения музея. Это тот параметр, на который музей как-то может влиять, в отличие от адреса |
|
9. Как Вы оцениваете в целом деятельность музея (насколько Вы удовлетворены посещением)? |
В целом оцениваю деятельность музея «очень хорошо», а посещением не удовлетворен (Не успел все посмотреть, устал ходить, порвались колготки, было плохое самочувствие, хотел показать ребенку Васнецова, но не нашел:), замерз в помещении, было много детских экскурсий, они мешали. Посещение было ужасным, т.к. дети капризничали и младшая заснула в греческом зале… |
Это два разных вопроса, которые не должны иметь одну оценку. Разбить на 2 вопроса или оставить один, более важный |
|
3. Как Вы оцениваете наличие дополнительных услуг в музее (буфет, магазин сувениров, мероприятия)? |
Был буфет, но мне ничего не понравилось… Что это за мероприятия? Мне кажется, мероприятий не было – какую оценку ставить? |
Не понятно, почему оценивается количество и не оценивается качество. А в вопросе 5 – наоборот… Если интересует вопрос, каких услуг было недостаточно, то лучше так и спросить. Для полноценного ответа необходимо представить список с возможностью указания конкретных услуг. Возможно, интересными были бы 2 вопроса: какими услугами пользовались и какими хотели бы пользоваться (со списком). Вопрос «количества и качества» рассмотрен после таблицы |
|
5. Как Вы оцениваете удобство использования электронных сервисов музея (инфо-киоск, покупка билетов)? |
Низкие оценки за удобство имеющихся сервисов делают рейтинг музея ниже, чем рейтинг музея, у которого сервисов нет (там будет вариант» затрудняюсь ответить») |
В вопросе 3 оценивается количество, а здесь – только удобство. См. комментарий «количество и качество» |
В текущей анкете не очевидна логика в оценке количества и качества дополнительных услуг. По одним услугам уточняется «наличие» (буфет, сувениры, мероприятия), по другим – «удобство» (электронные сервисы), по третьим – качество (экскурсии). Для оценки персонала выбраны «доброжелательность и вежливость».
Если какие-то услуги отсутствуют в музее – по ним не может быть низких оценок («затрудняюсь ответить»). Это означает, что если музей внедрил новую услугу и она пока имеет недостатки – для рейтинга (и музея) это хуже, чем отсутствие данной услуги.
Информацию о наличии и количестве имеющихся дополнительных услуг (в т.ч. электронных), лучше получать не из опросов, а от администрации. Это будет более подробный и точный ответ на вопрос о наличии. Рекомендуется предоставлять актуальную информацию об услугах на сайте музея и информацию о наличии услуг брать оттуда (возможно, периодически проверяя достоверность информации).
В текущей анкете/рейтинге не учтено, что музей и услуги могут располагаться в нескольких зданиях, и сервис в этих зданиях может отличаться принципиально. Например, ГТГ: услуги и оценки посещения в Лаврушинском переулке и на Крымском Валу могут заметно отличаться, однако из анкеты не будет понятно, в каком месте исправлять недостатки. Небольшие филиалы могут иметь свой рейтинг, т.к. филиал соответствует другому классу.
Рис.4. Оценка музея с филиалами не учитывает наличие нескольких зданий и различия в сервисе
Предполагается, что в каждом здании ГТГ должны быть все услуги? Тогда «филиальная сеть» музея занижает рейтинг или не учитывается:
- Третьяковская галерея в Лаврушинском переулке
- Третьяковская галерея на Крымском Валу
- Инженерный корпус
- Музей-храм Святителя Николая в Толмачах
- Музей-квартира А.М.Васнецова
- Дом-музей В.М.Васнецова
- Музей-мастерская А.С.Голубкиной
- Дом-музей П.Д.Корина
Если на рейтинг нельзя повлиять напрямую через улучшение продукта, проще заняться искажением рейтинга (приписками), см. рис.5. Поэтому необходимо провести дополнительную работу по обсуждению рейтинга с сообществом, а также по разъяснению целей, методики расчета.
Рис.5. Смещение приоритетов деятельности при неочевидном расчете рейтинга
В случае, если сотрудники предпочтут саботаж рейтинга, они смогут повлиять на результаты опроса, искажая или доводя результаты до абсурда. В online опросе могут участвовать все желающие, в том числе сотрудники, посетители лояльные музею и друзья/родственники/знакомые. Наличие «клуба» друзей музея дает шанс получения высоких оценок с помощью активации этой группы «респондентов». Параллельно могут занижаться рейтинги «конкурирующих» музеев, ведь никто не запрещает ставить низкие оценки «просто так».
Доведенный до абсурда рейтинг проще отменить совсем, чем логически объяснить и использовать невероятные цифры.
В настоящее время анкета размещена на сайте Министерства культуры. Предполагаем, что после откатки и устранения недостатков она должна появиться на сайтах музеев (трудно поверить, что потребители знают сайт Министерства и заходят на сайт http://MKRF.ru). Предполагаем, что наиболее серьезные огрехи должны быть устранены до того, как форма попадет на массово посещаемые интернет-страницы музеев.
Хотелось бы отметить, что сама идея опроса и рейтинга воспринимается автором позитивно по следующим причинам:
- Опрос посетителей, как способ обратной связи, представляется современным, удобным и недорогим решением;
- Рейтинг музеев может служить реальным ориентиром для посетителей;
- Анкета и рейтинг на сайтах музеев должны активизировать усилия по работе музеев с посетителями и, особенно, интернет-аудиторией;
- В некоторой степени рейтинг может стать инструментом Министерства для внедрения решений в области изменения музейного пространства.
- Методика расчета рейтинга и консенсус профессионального сообщества по этому вопросу должны объединить заинтересованные стороны.
- Новый инструмент позволит потребителям получать более качественные услуги в будущем.
- Вызывает симпатию активность и мужество Министерства, т.к. такие новации в любом случае попадают под огонь критики
Как бы это не показалось кому-то невероятным или смешным, но считаем вполне реальной идею разработки рейтингов других государственных учреждений - поликлиник, ВУЗов, детских садов. Также вполне рабочей может быть идея рейтингов управляющих компаний ЖКХ, аэропортов, вокзалов и других объектов, которыми пользуются сотни тысяч потребителей.
Кривошеев А.А., ген.директор «МА СканМаркет»
Проф., д.э.н. Азоев Г.Л., научный руководитель агентства «СканМаркет»,
директор Института Маркетинга Государственного университета управления.