Условие

Главная метрика — покупка через 30 дней после регистрации. A/B-тест нужно решить за 2 недели. Что делать?

Решение

Подход

Использовать micro-conversion — раннее действие, сильно коррелирующее с final purchase. Это leading indicator, который виден за 1-3 дня.

Как найти micro-conversion

На исторических данных взять cohort 30+ дней назад.
Для каждого пользователя — все действия в первые 3 дня.
Для каждого действия посчитать P(purchase | действие) vs P(purchase | not действие).
Высокое отношение + высокая частота = кандидат.

SELECT
  action,
  COUNT(*) AS n_users,
  AVG(CASE WHEN purchased_30d THEN 1 ELSE 0 END) AS p_purch_given_action,
  AVG(CASE WHEN purchased_30d THEN 1 ELSE 0 END) FILTER (WHERE action IS NULL) AS p_purch_baseline
FROM user_actions_first_3d
GROUP BY action
ORDER BY p_purch_given_action / NULLIF(p_purch_baseline, 0) DESC;

Хорошие micro-conversions

E-com: «добавил в корзину», «посмотрел 3+ товара».
SaaS: «совершил core action» (отправил счёт, создал dashboard, пригласил коллегу).
Игры: «достиг уровня 5», «купил первый soft-currency».
Education: «прошёл первый урок до конца».

Условия валидности

Корреляция с final conversion > 0.5.
Действие случается у ≥ 30% новых юзеров (иначе чувствительности нет).
Логика причинности: действие должно быть на пути к purchase, не побочным сигналом.
Стабильно во времени — корреляция не уплыла после изменений продукта.

Проверка в A/B

В A/B показывать обе метрики:

Micro-conversion — для быстрого решения.
Final conversion — для подтверждения через 30+ дней.

Если micro выросла, а final нет — micro обманчива (тест научил юзеров жать кнопку, а не покупать).

Подводные камни

Goodhart's law: если micro стал KPI, его начнут оптимизировать в ущерб final. Регулярно перепроверять корреляцию.
Сильная корреляция в наблюдательных данных ≠ causal эффект в A/B. Можно выкатить тест, разогнать micro, и не получить ничего в final.
Micro по «уже активным» пользователям имеет survivorship bias — берите cohort с момента регистрации.
Несколько proxy лучше одного: «активация» как кластер событий устойчивее single event.
Если micro случается у 2% юзеров — для A/B по нему нужны огромные выборки (как для final).

Эталонный ответ

Найти действие в первые 1-3 дня с высоким P(purchase|action)/P(purchase) и охватом ≥30%. Использовать как leading indicator в A/B, обязательно подтверждать на final через 30 дней.

Сценарий: micro-conversion как proxy для длинной воронки