Можно ли судить о спросе на семейный тариф по ответам действующих клиентов? Представьте, что сервис доставки обедов спрашивает о тарифе только тех, кто уже заказывает несколько порций. Опрос помогает понять, что интересно этой группе. Семьи, которые ещё не пользовались сервисом, в выборку не попадают. Чтобы узнать, заинтересует ли тариф новых покупателей, пригласите их в исследование отдельно, а готовность покупать по заявленной цене проверьте в пилоте.
До опроса запишите решение, которое предстоит принять
Формулировка «изучить спрос» оставляет слишком много свободы после сбора ответов. Запишите, кто примет решение, между какими вариантами выбирает и какие данные могут изменить выбор. Для доставки это может быть решение о пробном запуске в одном районе. Команде важно узнать, сколько семей оформят заказ по плановой цене и сколько закажут повторно, когда закончится скидка на первый обед.
Определите единицу измерения заранее. Если вопрос о семьях, считайте домохозяйства или используйте явно обозначенный заменитель, например уникальные аккаунты. Укажите период наблюдения и правила учёта отменённых заказов. Если у команды есть экономический порог для пилота, выведите его из затрат и маржи до просмотра результатов.
Посмотрите, кто мог попасть в исследование
Пройдите путь от целевой аудитории до финального набора ответов. Кого можно было пригласить? Кто получил приглашение? Кто открыл анкету и ответил на ключевой вопрос? Разница между этими группами подскажет, кого не хватает.
Например, производитель мебели хочет выяснить, почему люди отказываются от заказа после расчёта цены. Если отправить анкету только покупателям, участники, отказавшиеся после расчёта, вообще не получат приглашение. Добавьте отдельный набор из заявок, которые дошли до сметы, но не превратились в покупку. Сравните причины отказа по ценовым диапазонам и типам заказов. В отчёте укажите, сколько приглашений отправили каждой группе и сколько ответов получили.
Большое число ответов само по себе не исправляет пропуски в охвате и самоотбор. Для открытого опроса по ссылке опишите, кто мог увидеть приглашение и по какому принципу включали ответы. Если показываете меру неопределённости, поясните метод и его предпосылки. Рекомендации AAPOR по проведению опросов.
Проверьте, на какой вопрос люди фактически отвечают
Вопрос «Насколько вам нравится удобная доставка в удобное время?» одновременно задаёт оценку и объединяет две характеристики. Разведите их. Сначала спросите, случалось ли за выбранный период переносить доставку. Затем уточните, почему её переносили и какой интервал подошёл бы лучше. Предусмотрите ответ «не заказывал за этот период», иначе участники могут отвечать наугад.
До запуска попросите нескольких людей из нужной аудитории пройти анкету и своими словами объяснить каждый ключевой вопрос. Так можно обнаружить, например, что одни считают «доставкой на следующий день» любой заказ до полуночи, а другие предполагают ограничение по времени оформления. Отдельно проверьте анкету на телефоне. Если варианты не имеют естественного порядка, их можно перемешивать, чтобы уменьшить влияние позиции. У шкалы от «совсем не устраивает» до «полностью устраивает» сохраните смысловой порядок. Методика составления вопросов Pew Research Center.
Покажите знаменатель и проверьте состав групп
Условный расчёт. Логистический сервис сравнивает долю повторных заказов в двух месяцах. В первом месяце повторили заказ 48 из 80 постоянных клиентов и 4 из 20 новых. Во втором — 13 из 20 постоянных и 20 из 80 новых. Доля выросла в обеих группах: с 60 до 65% у постоянных и с 20 до 25% у новых. Общая доля при этом упала с 52 до 33%, потому что во втором месяце новых клиентов стало больше.
Покажите числитель и знаменатель рядом с процентом. Если менялся состав клиентов, сравните доли внутри одинаковых групп и проверьте, что у всех было одинаковое время для повторного заказа. В отдельной строке укажите, сколько записей исключили и почему. Правила обработки дублей, пропусков и незавершённых анкет зафиксируйте до анализа.
Отделите наблюдение от объяснения
После изменения страницы тарифа выросла доля заявок. В ту же неделю компания запустила рекламу на действующих клиентов. По сравнению периодов до и после изменения нельзя определить вклад каждого изменения. Если от этого зависит бюджет, запланируйте тест, в котором подходящие посетители случайно получают одну из двух версий страницы в один и тот же период. Заранее согласуйте основной показатель, срок наблюдения и правило остановки. При небольшом трафике полезнее продлить сбор или принять решение о небольшом обратимом пилоте, чем выдавать колебание за устойчивый эффект.
Если команда просмотрела много сегментов и заметила неожиданный рост только у одной группы, зафиксируйте эту находку как гипотезу. Проверьте её на следующем наборе данных. В отчёте сохраните исходный вопрос и покажите результаты по остальным группам.
Что должно быть на странице с выводом
- Решение. Какой шаг предлагается и какой риск он ограничивает.
- Данные. Кого приглашали, кто ответил, когда проводилось исследование и как считали показатели.
- Граница вывода. На какую аудиторию и ситуацию он распространяется, какие данные могли бы его изменить.
- Следующая проверка. Как команда уточнит спрос или проверит причинное объяснение до увеличения бюджета.
Для семейного тарифа итог может быть таким: «Есть интерес среди действующих покупателей нескольких порций. Запускаем пилот в одном районе и отдельно отслеживаем оплаченные и повторные заказы новых семей по плановой цене». По этой формулировке понятно, какие данные уже есть и какое решение они позволяют принять.
