Сценарий: conversion drop в конкретном сегменте

Условие

Total conversion стабильна, но в сегменте «новый юзер, iOS, Москва» упала на 20%. Что разобрать?

Решение

Локализация

Сегмент задан тремя осями. Найти минимальный сегмент, где проблема:

WITH conv AS (
  SELECT
    is_new, platform, city,
    AVG(converted::int) AS conv,
    COUNT(*) AS n
  FROM events
  WHERE ts >= now() - interval '7 days'
  GROUP BY 1, 2, 3
),
baseline AS (
  SELECT
    is_new, platform, city,
    AVG(converted::int) AS conv_baseline
  FROM events
  WHERE ts BETWEEN now() - interval '37 days' AND now() - interval '7 days'
  GROUP BY 1, 2, 3
)
SELECT *, conv - conv_baseline AS delta
FROM conv JOIN baseline USING (is_new, platform, city)
WHERE n > 100
ORDER BY delta;

Drill-down дальше

Если «iOS, Москва, новые» — копать глубже:

• Какая версия билда? Возможно, 4.5.0 ломает что-то для новых.
• Какие браузеры (на web компонент)?
• Какой способ оплаты?
• Какие этапы воронки упали?

SELECT step, AVG(reached::int)
FROM funnel
WHERE is_new AND platform = 'iOS' AND city = 'Moscow' AND ts >= now() - 7
GROUP BY step;

Технические сигналы

SELECT error_type, COUNT(*) FROM errors
WHERE platform = 'iOS' AND date >= now() - 7
GROUP BY 1 ORDER BY 2 DESC LIMIT 10;

• Crash rate ↑ на новой версии?
• API errors на конкретном endpoint?
• 3DS-фейлы у местных банков?

Контекстные сигналы

• В Москве что-то случилось (метро лежало, конкурент промо)?
• iOS 17 release принёс bug-репорты от похожих apps?
• App Store ranking упал?

Гипотеза → проверка

Action

1. Если bug — patch / rollback.
2. Если 3rd party — escalate вендору, открыть incident.
3. Если seasonal — wait, документировать.
4. Если product issue — A/B fix.

Подводные камни

1. Маленькая выборка в узком сегменте — большой шум. Проверять статистическую значимость.
2. Множественные гипотезы → multiple testing. Корректировать ожидания.
3. Сегмент «iOS Moscow new» может быть 100 юзеров в день — «20% drop» = 5 юзеров. Не overinvest.
4. Sometimes другие сегменты тоже падают, просто меньше — не считайте, что это только один сегмент.
5. Selection bias по сегменту: «новые iOS в Москве» — может быть, что paid кампания привела другой тип юзеров.

Эталонный ответ

Декомпозировать сегмент по версии билда, способу оплаты, шагу воронки → найти минимальный обрушившийся сегмент. Проверить технические сигналы (crash, errors, 3DS). Гипотеза → проверка на cohort → fix.