Собесов

Сценарий: пошаговый разбор просадки метрики

Продуктовая аналитикаDiagnose dropСредняяMiddle

Условие

DAU упало на 12% за один день. Дашборд тебе. Расскажи пошаговый план разбора.

Решение

Шаг 1: проверить данные

Прежде чем искать причину, проверь трекинг.

  • Логи приходят? Размер сырой таблицы events нормальный?
  • Было ли изменение SDK / ETL / event-schema?
  • Дашборд не перепутал тайм-фрейм?
  • Тестовый трафик не считается ли как DAU обычно (а сегодня тестовый стенд выключили)?

Часто «просадка» — это просто баг трекинга. Не суетись до этой проверки.

Шаг 2: декомпозиция

DAU = new + retained + resurrected

Какой компонент упал? Это меняет диагноз:

  • new ↓ → проблема в acquisition (paid каналы, SEO, app store).
  • retained ↓ → проблема в продукте (новый релиз, баг).
  • resurrected ↓ → проблема в re-engagement (email/push).

Шаг 3: сегментация по осям

Ось Что искать
Платформа iOS / Android / Web — одна упала?
Версия приложения новый билд раскатили?
Регион один регион — outage?
Источник трафика paid канал упал?
Тип пользователя новые ≠ старые
Час дня весь день или ночь?

«DAU упал на 12% равномерно» — другая история, чем «iOS упал на 60%, остальные ок».

Шаг 4: внутренние vs внешние

Внутренние причины:

  • Релиз (билд, фича, A/B).
  • ETL/трекинг сломан.
  • Маркетинговая кампания закончилась.
  • Push/email не отправили.

Внешние причины:

  • DDoS / outage у вендора.
  • Праздник / погода.
  • Конкурент запустил акцию.
  • App Store обновил алгоритм поиска.

Шаг 5: timeline

Положите рядом график метрики и timeline событий (релизы, кампании, прайсы). Часто причина видна сразу: «релиз 14:00, метрика просела с 14:30».

Шаг 6: формулировка hypothesis → проверка → fix

  1. Hypothesis: «новый билд iOS 3.5.0 ломает push».
  2. Проверка: cohort на 3.5.0 vs 3.4.x.
  3. Fix: rollback или hotfix.

Чек-лист

  • Данные не сломаны.
  • Декомпозиция: new / retained / resurrected.
  • Сегментация по 5+ осям.
  • Внутренние и внешние причины.
  • Timeline событий.
  • Гипотеза → проверка → fix.

Подводные камни

  1. Не паниковать на 1-дневной просадке — иногда это шум (особенно если волатильность DAU 5-10%).
  2. «Понедельник всегда низкий» — учитывайте недельную сезонность, сравнивайте с прошлой неделей того же дня.
  3. Одна сегментация может скрыть истину (платформа iOS общая, но конкретная модель iPhone X). Drill-down.
  4. После релиза следить за метриками день-два — обычно эффект виден сразу, но иногда лагом.
  5. Пишите post-mortem даже на «и так нашли причину» — следующая просадка будет похожа.

Эталонный ответ

1) Проверить трекинг. 2) Декомпозировать DAU (new/retained/resurrected). 3) Сегментировать (платформа, регион, версия, источник). 4) Внутренние vs внешние. 5) Timeline событий. 6) Гипотеза → проверка → fix.

Хочешь увидеть разбор?

Зарегистрируйся бесплатно — откроется развёрнутое решение этой задачи и ещё 4 на выбор.

Зарегистрироваться и увидеть разбор
Уже есть аккаунт? Войти