Ренессанс Кредит — анализ воронки push-рассылки vs контрольная группа

Условие

В период 3.12–5.12 пользователям приложения отправляли push «зайдите в раздел Партнёры». Для сегмента выделена контрольная группа.

Считается ли рассылка успешной? Что улучшить?

Решение

Подход

Каркас: относительный лифт каждой метрики → значимость → потери в воронке → улучшения.

1. Лифт по этапам

• Заход в МБ: 18.3% vs 17.4% → лифт +0.9 п.п. или +5.2% относительно контроля.
• Заход в партнёрский раздел (среди вошедших в МБ): 22.7% vs 21.8% → лифт +0.9 п.п. или +4.1%.
• Сквозной CR от ЦА в раздел: пилот 5780 / 139 545 ≈ 4.14%; контроль 567 / 14 976 ≈ 3.79% → лифт +9.4%.

Лифт небольшой, но в нужную сторону.

2. Стат-значимость

Для пропорций — z-test.

from statsmodels.stats.proportion import proportions_ztest
# Заход в МБ
counts = [25483, 2606]
nobs   = [139545, 14976]
z, p = proportions_ztest(counts, nobs, alternative='larger')
# z ≈ 2.5, p ≈ 0.006 - значимо

Аналогично для сквозной воронки — значимо при таких объёмах.

3. Где основные потери

• Доставка: 139 545 → 69 337 — теряем половину ещё до того, как пользователь увидел push. Это самый большой канал улучшения (push permission на iOS, гашение в фоне, фильтры провайдера).
• Доставлено → заход в МБ: 69 337 → 25 483 = 36.8% — нормально для push CTR.
• МБ → раздел партнёров: 25 483 → 5 780 = 22.7% — здесь push уже не работает, важна навигация в приложении.

4. Что изменить в следующий раз

1. Сегментировать аудиторию. Push в 22:00 пенсионеру и в 11:00 студенту — разная конверсия. Time-of-day + сегмент устройства.
2. Персонализация контента. «Зайдите в раздел Партнёры» абстрактно. Лучше: «У ваших любимых партнёров скидки 20%» с деплинком сразу в раздел.
3. Deeplink в нужный экран. Сейчас, видимо, push открывает главный экран — отсюда падение МБ → раздел.
4. Контроль доставки. На iOS включить provisional / critical, на Android — настроить FCM приоритет.
5. Размер контрольной группы. 14 976 vs 139 545 = ~10%. Достаточно для пропорций, но можно увеличить для более тонких метрик (выручка, кол-во транзакций).

5. Чего не хватает в данных

• Не показан финансовый эффект: сколько транзакций у партнёров после захода в раздел, лифт по выручке. Конверсия в раздел сама по себе ничего не говорит о деньгах.
• Долгосрочный эффект: возможно, push «выжигает» аудиторию, через месяц заход падает.
• Корректность контрольной группы: одинаковые ли распределения по гео/возрасту/типу устройства.

Подводные камни

1. «CR хороший — успех». Без значимости и без денежного эффекта это пиар, а не аналитика.
2. Сравнение % с разной базой. 22.7% vs 21.8% — это % от вошедших в МБ, не от ЦА. Сравнения внутри одной группы и между группами легко перепутать.
3. «Доставлено = 0 в контроле». В контроле никто ничего не отправлял, нельзя сравнивать «доставлено». Сравниваем только заходы в МБ и в раздел — относительно общего объёма.
4. Эффект Хоторна. Если контроль знает, что в эксперименте, поведение искажается — тут push, поэтому маловероятно.
5. Каннибализация органики. Часть пользователей зашли бы и без push. Лифт показывает именно инкремент.

Эталонный ответ

Лифт сквозного захода в раздел партнёров +9.4%, статистически значимо при таких объёмах. Главные потери — на доставке push (50% не получают). Для следующей итерации: персонализированный текст, deeplink в раздел, time-of-day, сегментация. Обязательно дополнить отчёт финансовыми метриками (транзакции / выручка), без них «заход в раздел» — vanity-метрика.