Собесов

Сценарий: спроектировать метрики для onboarding в приложении

Кейсы и метрикиDesigning metricsСредняяMiddle

Условие

Менеджер просит «придумать метрики онбординга» для нового мобильного приложения. С чего начать?

Решение

Шаг 1: определить goal онбординга

Не «провести юзера через 5 экранов», а «довести до aha moment, после которого retention выходит на плато».

Goal формулируется через outcome: «активированный = делает X в первые 7 дней».

Шаг 2: найти aha moment

Из исторических данных:

SELECT first_action,
       AVG(returned_d30::int) AS retention
FROM user_first_actions
GROUP BY 1
ORDER BY 2 DESC LIMIT 10;

Действие с самой высокой retention = candidate aha moment. Часто это 3+ core actions в 7 дней (Facebook: 7 friends in 10 days; Slack: 2000 сообщений).

Шаг 3: иерархия метрик

Уровень Метрика Назначение
North Star Activation rate (% завершивших onboarding) главная цель
Promotional Step conversion (% дошедших до шага N) где теряем
Diagnostic Time on step UX-проблема
Diagnostic Error rate per step технические баги
Health TTV (time to value) как быстро доходим до aha
Health NPS / CSAT после онбординга удовлетворённость

Шаг 4: воронка

install → open → registration → permission grants → onboarding step 1 ... N → first core action

Каждый шаг — conversion, time spent, drop reason.

Шаг 5: cohort

Считать metric cohort-based по неделям/месяцам. Тренд по cohort показывает улучшение продукта.

Шаг 6: сегментация

  • iOS vs Android.
  • Source (paid vs organic).
  • Geo.
  • Device type.
  • A/B variant (если идёт тест).

Антипаттерны метрик

  1. Step completion ≠ retention: можно прогнать через шаги, не активировать.
  2. TTV без cohort — путает.
  3. Average time — медианой надёжнее (long tail).
  4. «Удовлетворённость» без поведения — survey без correlation с retention бесполезен.

Дашборд

  • Activation rate (по неделям).
  • Funnel waterfall (visual).
  • TTV by source.
  • Onboarding NPS.
  • Top reasons for drop (qualitative).

Подводные камни

  1. North Star метрика должна быть outcome-based (activation), не output-based (completed steps).
  2. Aha moment устаревает с продуктом. Перепроверять раз в квартал.
  3. Метрики онбординга для новых юзеров. Old users in flow at re-onboarding — отдельный сегмент.
  4. Слишком много метрик — лучше 3-5 ключевых на дашборде, остальное под капотом.
  5. Survey-метрики имеют self-selection bias, особенно при добровольном участии.

Эталонный ответ

North Star — activation rate (% дошедших до aha moment). Promotional — step funnel и TTV. Diagnostic — time/errors per step. Найти aha из исторических данных. Cohort + сегментация (платформа, source, geo).

Хочешь увидеть разбор?

Зарегистрируйся бесплатно — откроется развёрнутое решение этой задачи и ещё 4 на выбор.

Зарегистрироваться и увидеть разбор
Уже есть аккаунт? Войти