В своем свежем отчете Global Market Research 2023, посвященном трендам развития мировой исследовательской индустрии, независимая европейская ассоциация исследовательских компаний Esomar посвятила целый раздел анализу того, как повысить качество опросных данных.
Предлагаем вашему вниманию материал, посвященный этой же теме. Он основан на тезисах, которые развиваются в отчете Esomar, при этом существенно расширен и дополнен с учетом практики российских исследовательских компаний и, в частности, нашей компании – Агентства Социальной Информации Санкт-Петербург.
1. Проблема низкого качества данных
Проблема низкого качества данных, получаемых в ходе опросов, уже давно беспокоит компании, занимающиеся маркетинговыми исследованиями. Эта проблема особенно актуальна для количественных исследований, где качество данных напрямую влияет на достоверность результатов.
По данным Kantar, в 4 квартале 2022 года исследователи отбраковывали до 38% собранных данных из-за проблем с качеством и мошенничеством в панелях респондентов.
Причины такой ситуации очевидны: респонденты не всегда полностью вовлечены в процесс опроса, некоторые пытаются обмануть систему, чтобы получить вознаграждение, а некоторые компании посылают одних и тех же респондентов из опроса в опрос, иногда задавая одни и те же вопросы многократно. Например, в российской практике нередки случаи, когда один респондент может участвовать в однотипных опросах от разных заказчиков по несколько раз в неделю.
Всё это приводит к разочарованию респондентов и снижению качества ответов. К тому же, дизайн опросов и формулировка вопросов часто оставляют желать лучшего. «Большинство опросников - это просто монотонное нагромождение профессионального сленга», - говорит независимый консультант Esomar Энни Петтит.
Одной из главных причин статус-кво является низкая вовлеченность респондентов. Участники панелей часто относятся к опросам формально, выбирая ответы наобум или не до конца вникая в вопросы.
Также распространены случаи, когда респонденты специально дают неверные ответы, чтобы поскорее завершить опрос и получить вознаграждение. По оценкам экспертов, доля таких "профессиональных" респондентов в России может достигать 10-15%.
Еще одна распространенная проблема – это многократное участие одних и тех же респондентов в похожих опросах. В российской практике нередки случаи, когда один респондент может участвовать в однотипных опросах от разных заказчиков по несколько раз в неделю. Это приводит к эффекту переопрашивания и снижению качества данных.
Немаловажную роль играет и сам дизайн анкеты. Длинные, однотипные, сложные для понимания опросники также негативно сказываются на качестве ответов респондентов, утомляя их и снижая внимательность.
По данным исследования Ассоциации маркетинговых услуг RAMU, средняя длина анкет в России составляет 15-20 минут. При этом уже после 10-12 минут резко возрастает доля поверхностных ответов и случайных нажатий в анкете.
Согласно исследованию международной веб-исследовательской компании Greenfield, доля невалидных анкет в России в среднем составляет около 20%. А в некоторых случаях может доходить до 50-60%, что существенно сказывается на качестве данных.
Проблема низкого качества данных не обходит стороной и телефонные опросы.
Во-первых, это низкая доступность респондентов по телефону. Из-за широкого распространения мобильной связи и отказа многих от стационарных телефонов сложно дозвониться до респондентов в нужном объеме, что ведет к смещениям выборки. Конечно, выборки телефонных опросов давным-давно включают в себя и мобильные номера, однако мобильные базы не везде можно использовать – например, они неприменимы, если вам надо обзвонить какой-то небольшой город или район (слишком много народа будет отсеиваться на фильтре про место проживания).
Во-вторых, растет доля отказов от участия в опросе. Если раньше люди более охотно шли на контакт по телефону, то сейчас отказываются от участия, не дослушав даже вступление интервьюера. Этому способствует увеличение объема телефонных спам-звонков с продажей разного рода товаров и услуг, а также откровенно мошеннических схем.
В-третьих, сам процесс телефонного интервью может влиять на качество ответов. Фактор присутствия интервьюера, поверхностное восприятие вопросов, желание быстрее закончить разговор - все это может сказываться на глубине и честности ответов. Правда, в основном – это проблемы мелких исследовательских компаний.
По данным ФОМ, доля "не знаю" в телефонных опросах в среднем на 5-7% выше, чем в онлайн. Это косвенно указывает на более поверхностное отношение к ответам в телефонных опросах или нежелание респондентов по каким-то причинам давать ответ интервьюеру.
Поэтому, хотя телефонный метод, конечно же, все еще актуален для опросов, проблема качества данных стоит здесь не менее остро, чем в онлайн-исследованиях. Это важно учитывать при интерпретации результатов. Правда, с каждым годом доля телефонных опросов в нашей практике снижается, уступая онлайну.
Таким образом, проблема низкого качества данных в количественных исследованиях является весьма актуальной как для российского, так и для мирового исследовательского рынка независимо от метода сбора данных и требует комплексных усилий по ее решению.
2. Падение вовлеченности молодежи
Особенно остро эту проблему ощущает «поколение TikTok» - молодежь, привыкшая к яркому и динамичному контенту в социальных сетях. По словам вице-президента по инновациям Kantar Джона Пулстона, многие опросники просто не соответствуют требованиям современных потребителей. «Мы коллективно «грузили» респондентов плохими опросами на протяжении нескольких десятилетий, но за это время мир сильно изменился. Поколение TikTok требует большей вовлеченности, и они голосуют ногами, отказываясь участвовать в опросах».
Причины этого в изменившихся медиапредпочтениях молодежи. Они меньше смотрят ТВ, слушают радио, читают печатную прессу, но зато много времени проводят в соцсетях и мессенджерах. К сожалению, в этих каналах нередко сложно проводить качественный рекрут, да и сам контент опросов зачастую кажется молодежи скучным.
В российской практике тоже отмечается тренд снижения отклика среди молодежи 18-24 лет, что заставляет компании искать новые каналы привлечения этой аудитории, такие как мобильные приложения и геймификация.
По данным российской компании OMI (Online Market Intelligence), специализирующейся на онлайн-опросах, более 60% респондентов 18-24 лет признаются, что поверхностно относятся к участию в опросах, лишь бы получить вознаграждение, а 25% вообще предпочитают сообщать недостоверную информацию о себе. Всё это снижает ценность данных.
Таким образом, привлечение именно молодых участников и повышение качества их ответов – это один из главных вызовов для исследовательской отрасли как в России, так и в мире.
3. Высокий отсев на этапе скрининга
Высокий отсев респондентов на этапе скрининга - распространенная проблема как для российских, так и для международных исследовательских компаний.
Вице-президент по инновациям Kantar Джон Пулстон описывает это как проблему всей отрасли. Он отмечает общий тренд роста отсева респондентов на этапе скрининга. «Примерно в двух третях случаев, когда респонденты пытаются пройти опрос, их отсеивают, потому что они не подходят под целевую аудиторию или их квота уже заполнена». Подобная ситуация очень сильно демотивирует потенциальных респондентов – они-то не знают, что не удовлетворяют требованиям исследования, и воспринимают подобный отсев крайне негативно.
По данным американской Ассоциации маркетинговых исследований, в среднем около 65% потенциальных респондентов отсеиваются на этапе проверки соответствия целевым критериям. Это связано как с ошибками таргетирования на этапе рекрутинга, так и со слишком узкими критериями отбора.
Отсев демотивирует участников, снижая их готовность участвовать в будущих исследованиях. По данным Online Market Intelligence, около 40% респондентов после отсева на скрининге отказываются от любых дальнейших приглашений в опросы.
Это касается не только онлайн-опросов, но и офлайн-активностей. Например, запасные участники фокус-групп, прошедшие скрининг, но не попавшие в основную группу, в дальнейшем значительно реже соглашаются на участие в качественных исследованиях.
Таким образом, высокий отсев имеет эффект долгосрочного негативного влияния на мотивацию целевой аудитории и должен минимизироваться по возможности.
По мнению некоторых экспертов, отрасли нужно думать о том, как снизить уровень отсева, установив рамки допустимых стандартов для длины разделов скрининга опросников и компенсации для отсеянных респондентов. Так, в нашей компании это стало одним из приоритетов для повышения эффективности использования как панелей, так и river-sampling’a («потоковой выборки») – снижения уровня отсева за счет более эффективного роутинга.
4. Подходы к повышению качества данных
Для ограничения количества некачественных ответов некоторые компании фокусируются на очистке данных после сбора, чтобы исключить недостоверные или некачественные ответы (при этом критерии качества и достоверности у всех разные).
Другие уделяют внимание дизайну опросника, его длительности, внешнему виду и сложности, чтобы облегчить задачу для респондента и собрать только надежные данные.
Однако многие эксперты сходятся во мнении, что одних технических улучшений недостаточно – нужен более человеко-ориентированный подход. «Нельзя рассматривать участников опроса только как ресурс для сбора данных. Это реальные люди, чье внимание может серьезно страдать от длинных и скучных вопросов», - отмечает Филипп Гильбер, член Комитета профессиональных стандартов ESOMAR.
По мнению Арно Хаммерстона из Amplify MR, тестирование опросников критически важно: «Смогла бы ваша бабушка пройти этот опрос и понять его?» Однако он добавляет, что сам опрос – лишь один из элементов сложной интерактивной экосистемы. «Люди будут давать качественные данные, только если они мотивированы это делать и видят ценность в своем участии – либо для себя, либо в пользу, которую эти данные принесут обществу».
В практике нашего исследовательского агентства применяется целый ряд подходов к повышению качества данных в исследованиях. Все их можно разделить на несколько направлений:
1. Совершенствование инструментария:
-
Сокращение длины анкеты, исключение однотипных и утомительных вопросов
-
Улучшение дизайна анкеты, использование разнообразных форматов вопросов
-
Предварительное когнитивное тестирование анкеты
-
A/B тестирование вариантов анкеты (применяется в «особо тяжелых» случаях)
2. Повышение вовлеченности респондентов:
-
Использование игровых механик и геймификации опросов
-
Внедрение систем мотивации и поощрения участников, в том числе, нематериальных.
-
Информирование респондентов о результатах исследований – особенно важно в случае, когда в качестве респондентов выступают представители B2B-аудитории.
3. Контроль качества данных:
-
Фильтрация невалидных анкет по времени заполнения, проверка открытых ответов на уникальность
-
Перепроверка части анкет супервайзерами.
-
Использование специальных алгоритмов выявления недобросовестных респондентов, основанных на машинных данных.
Данные методы не являются чем-то уникальным, но, тем не менее, их мало кто использует в комплексе.
Что касается улучшения анкет и гайдов, то вот простая пошаговая инструкция, которая приводится в отчете Esomar и кажется нам заслуживающей внимания:
Ключ к улучшению опросов, по мнению эксперта Esomar, заключается в том, чтобы подходить к их созданию как к вовлекающему потребительскому опыту. Этого можно добиться следующими способами:
-
Применение хорошей нарративной структуры
-
Использование визуальных элементов для оживления опросника
-
Более человечный тон изложения вопросов
-
Беседный стиль (демонстрация респонденту, что его ответы услышаны и учтены в последующих вопросах)
-
Предоставление респондентам обратной связи по возможности
-
Общение с респондентами как с экспертами в области их потребительского поведения
-
Использование элементов сюрприза
-
Формулировка вопросов новыми и нестандартными способами
-
Отказ от однотипных закрытых вопросов в пользу более интересных открытых
-
Демонстрация ответов других респондентов
5. Выстраивание доверительных отношений с респондентами
Для улучшения качества ответов респондентов критически важно выстраивать с ними доверительные отношения, считает Энрик Сид, управляющий директор компании Netquest:
«Независимо от того, вступает ли респондент в долгосрочное сотрудничество или участвует разово, узнаваемый бренд с сильным ценностным предложением повысит уровень участия и качество ответов. Построение доверия и акцент на выгодах для респондента могут способствовать лучшим результатам в маркетинговых исследованиях».
В России ведущие исследовательские компании уделяют большое внимание выстраиванию долгосрочных доверительных отношений с респондентами.
Так, компания Romir проводит ежегодный всероссийский конкурс «Лучший респондент года», где отмечает наиболее активных и качественных участников панели.
FMI заключает партнерские соглашения с респондентами, предоставляя им ряд привилегий.
Компания Ipsos регулярно информирует участников о результатах проведенных при их участии исследований в специальном разделе на сайте.
Online Market Intelligence проводит онлайн-конференции и вебинары для респондентов с участием экспертов компании.
Мы активно изучаем опыт коллег и перенимаем лучшее из него для улучшения коммуникации с респондентами.
Эти инструменты помогают укреплять взаимопонимание с респондентами, повышать их лояльность и мотивацию к качественному участию в опросах.
За рубежом также есть успешные кейсы в этой сфере. Например, компания SurveyMonkey создала целую экосистему для респондентов со множеством сервисов и возможностей.
6. Риски и возможности новых технологий
По мере развития технологий искусственного интеллекта, таких как ChatGPT, появляются новые возможности для улучшения опросов, но и новые риски их фальсификации.
Возможности:
-
Использование чат-ботов и виртуальных ассистентов для более естественного и интерактивного опроса
-
Автоматизация анализа открытых ответов с помощью NLP для выявления некачественных данных
-
Применение нейросетей для скоринга респондентов и выявления недобросовестных участников
-
Генерация уникальных вариантов анкет с помощью AI
Риски:
-
Недобросовестное использование чат-ботов респондентами для генерации ответов
-
Снижение уникальности ответов из-за возможности их подбора через поисковые системы и сервисы типа ChatGPT
-
Риск компрометации личных данных респондентов при использовании технологий распознавания лиц/голоса
Разумное использование AI может сделать опросы более разговорными и интересными, но злоупотребление такими инструментами со стороны недобросовестных респондентов тоже возможно.
В России пока нет массовых случаев использования ChatGPT в опросах, но появление такой угрозы уже обсуждается экспертами. Компаниям нужно разрабатывать методы защиты от подобных угроз, не теряя потенциала новых технологий.
7. Выводы
Главный вывод таков – для улучшения качества данных опросов необходим комплексный подход, включающий пересмотр процессов рекрутинга респондентов, улучшение дизайна и юзабилити опросников, выстраивание долгосрочных взаимовыгодных отношений с участниками, а также ответственное и этичное использование новых технологий.
Только системный подход, ориентированный на человека, а не технологии, позволит решить накопившиеся в отрасли проблемы с качеством данных. Российским компаниям, как части мирового исследовательского рынка, также важно изучать лучшие международные практики в этой сфере и адаптировать их к локальной специфике.
