Условие
Маркетологи в течение двух недель крутили рекламу на двух площадках (например, Google и Yandex). На обеих ресурсах реклама была показана примерно одинаковое число раз. Какие показатели измерить, чтобы сравнить площадки? Маркетологи хотят оставить одну. Какие будут ваши рекомендации по выбору?
Комментарий из задания: «рекомендации — не просто перечень показателей, а рекомендации по их интерпретации и принятию решения».
Решение
Шаг 1. Сразу обозначить ограничение
Это не A/B-тест, а квази-эксперимент (две независимые кампании на разных аудиториях). Аудитории Google и Yandex могут различаться по демографии, гео, устройствам, поисковым намерениям. Поэтому «выиграл тот, у кого CR выше» — это не вывод, а гипотеза. Об этом нужно явно сказать заказчику.
Шаг 2. Воронка и метрики
Стандартная воронка для рекламы:
Impressions → Clicks → Sessions → Leads/Заявки → Сделки → Выручка/Прибыль
По площадкам считаем:
| Уровень | Метрика | Что показывает |
|---|---|---|
| Показ | Impressions | размер охвата (по условию ≈ равны) |
| Клик | Clicks, CTR | насколько объявление цепляет аудиторию |
| Сессия | Sessions, Bounce, Time-on-site | качество приведённого трафика |
| Лид | Заявки, CR (clicks → leads) | насколько трафик целевой |
| Сделка | Сделки, CR (lead → deal) | насколько лид качественный |
| Деньги | Revenue, CAC, ROMI, LTV/CAC | экономика канала |
Главные KPI — CAC (стоимость привлечённого клиента) и ROMI (возврат на инвестиции в маркетинг). Они учитывают и качество, и стоимость.
Шаг 3. Что мерить ещё (часто забывают)
- Доля повторных посетителей — площадки могут давать «одноразовый» трафик.
- Геораспределение трафика — Москва дороже регионов и приносит больше денег.
- Устройства — может быть, на Yandex больше mobile, а конверсия mobile у вас хуже.
- Атрибуция — last-click искажает. Для двух кампаний параллельно — особенно. По возможности сравнивайте post-view + post-click.
- Долгая выручка — две недели мало для LTV. Меряйте 30/60/90-дневный revenue, а не «деньги в день клика».
- Brand-эффект — если одна из площадок ещё и поднимала органик/прямые заходы.
Шаг 4. Тесты значимости
Имея ≈ равные impressions, можно сравнить долю кликов / долю конверсий z-тестом для двух пропорций, выручку — bootstrap-разностью средних. С интервалами. Без интервалов «там 1.2%, тут 1.4%» — не вывод.
Шаг 5. Рекомендации (как принимать решение)
Алгоритм для маркетолога:
- Если CAC и ROMI достоверно различаются в пользу одной площадки — оставить её. Но проверьте устойчивость: одна крупная сделка может перекосить ROMI за 2 недели.
- Если ROMI близкий, но CR разный — вероятно, разная аудитория. Переоптимизировать таргетинг проигравшей площадки, прежде чем убирать.
- Если ROMI Yandex высокий, но трафик ограничен (масштабируется хуже Google) — возможно, экономически выгоднее держать Yandex как «ядро», Google как «расширение».
- Если разница в пределах CI — две недели мало. Запустить ещё минимум 4 недели, добавить полноценную атрибуцию.
- Не рекомендуйте отрубать площадку только по верхним метрикам. CTR без CR ничего не значит. Yandex может давать дешевые клики, но 0 продаж.
Шаг 6. Что добавить к выводу
В отчёте:
- Сравнительная таблица по воронке + CAC + ROMI с CI.
- Разбивка по гео/устройствам/времени дня.
- Чувствительность к LTV-горизонту.
- Risk-list: что мы упустили (атрибуция, brand-effect, сезонность).
- Конкретное действие: «оставить X», «оптимизировать Y», «нужно ещё N недель».
Подводные камни
- «Площадки сравнимы, потому что одинаковые показы». Аудитории и контексты разные. Equal impressions ≠ equal experiment.
- Last-click атрибуция. Если пользователь кликнул и в Google, и в Yandex — кому отдать сделку? Без согласованной атрибуции цифры завышены или занижены у обоих.
- Двухнедельное окно для LTV. Сделок ещё нет / только начались. Нужно либо более длинный hindsight, либо прокси (например, lead score).
- Сезонность. Две недели в декабре и в марте — разные результаты. Нужны параллельные периоды.
- Тестирование значимости. «У Google CR 1.4%, у Yandex 1.2% → выиграл Google» — без CI и теста это не вывод.
- Не учитывать brand-эффект. Yandex может улучшать узнаваемость, поднимая органический трафик, а в last-click-отчёте этого не видно.
- Игнорировать CAC vs LTV. Дешёвый канал по CAC может приводить «плохих» клиентов с низким LTV — суммарно убыточен.
Эталонный ответ
Сравниваем по полной воронке Impressions → Clicks → Sessions → Leads → Deals → Revenue с ключевыми метриками CTR, CR, CAC, ROMI. Считаем доверительные интервалы (z-тест для пропорций, bootstrap для денег). Делим по гео/устройствам/времени. Главное правило для маркетолога: решение «оставить площадку» должно опираться на CAC и ROMI с учётом длинного LTV-горизонта, а не на верхние метрики (CTR, дешёвый клик). Две недели — слишком короткий срок для финального вывода; имеет смысл продлить эксперимент или согласовать промежуточный декремент бюджета на проигрывающую площадку с пересмотром через месяц.