Vizor Games — метрики релиза, расследование падения ARPU и MMP-дашборд

Условие

Три теоретических вопроса для Marketing Data Analyst в gaming-компании:

1. Через 2 недели — релиз новой версии приложения. Какие метрики мониторите для оценки релиза? Сколько времени нужно для решения «успех/провал»?
2. Заметили снижение ARPU в стране AU по одной месячной когорте. Дальнейшие действия?
3. Приложение интегрировано с MMP. Сформируйте дашборд для ежедневного мониторинга. Какие метрики?

Решение

Q1. Метрики оценки релиза

Tier 1 — health (sanity):

• Crash-free users (≥ 99.5% — иначе hot-fix).
• ANR rate (Android Not Responding).
• App start time.
• Session length.
• DAU vs предыдущая неделя.
• Install → first-session conversion (sanity на новый funnel).

Tier 2 — engagement:

• Retention D1, D3, D7 в разрезе версии (новая vs предыдущая).
• Sessions per DAU.
• Time spent.
• Funnel completion (туториал, первая покупка).

Tier 3 — monetization:

• ARPU, ARPPU.
• Paying user share.
• Конверсия в paid.
• Ad revenue (если есть).
• LTV прокси (Day-7 revenue per user).

Tier 4 — quality:

• Reviews / NPS.
• Support tickets.

Сколько времени нужно?

• D1/D3 retention — через 3 дня после релиза (точнее — через 3+1=4 дней, чтобы все cohort прожила 3 дня).
• D7 retention — через 8 дней.
• ARPU — нужно ≥ 2 недели для стабильных оценок (volatile в первые дни).
• LTV полностью — невозможно за разумное время; используют predicted LTV или surrogate.

Решение «успех/провал» — обычно через 1 неделю (D7 retention + sanity). Если катастрофа (crashes 5%+ или retention −20%) — rollback моментально. Если +/- в пределах ожидаемого — продолжить наблюдение, через 2 недели — окончательное решение.

Q2. Падение ARPU в AU

Алгоритм: «проверь данные → декомпозируй → копай в подозрительный сегмент».

Шаг 0. Проверка данных:

• Объём данных за период полный?
• Курс валюты (AUD → USD)? — Если ARPU в USD и курс упал, ARPU автоматически просел.
• Не было ли изменений в логировании revenue?

Шаг 1. Декомпозиция ARPU:

Что упало?

Шаг 2. Когорта vs популяция:

• ARPU only on this monthly cohort vs prev cohorts AU?
• Если только на этой когорте — что-то поменялось в acquisition (источники, таргетинг).
• Если общий тренд — что-то поменялось в продукте.

Шаг 3. Декомпозиция по acquisition:

• Channel mix (paid_ua, organic).
• Audience: device, OS version, age.
• Campaign: новые campaign могли дать «дешёвых» юзеров с низким LTV.

Шаг 4. Декомпозиция по продукту:

• IAP mix (IAP1/IAP2/...): что просело?
• Time to first purchase.
• Конкретные айтемы / промо.

Шаг 5. Внешние причины:

• AU-специфика: holidays, school terms, competitor releases, экономические события.
• App store featured?
• Цена USD vs AUD adjustments в магазине.

Шаг 6. Действия:

• Если падение из-за плохого UA → пауза кампаний, пересмотр таргетинга.
• Если внутри продукта → A/B-test fix.
• Документировать как post-mortem.

Q3. Дашборд ежедневного мониторинга (MMP)

Поскольку MMP (Adjust/AppsFlyer/Branch) → есть данные по installs, attribution, post-install events, revenue.

Acquisition (top of funnel):

• Installs by channel × campaign.
• CPI (Cost per Install).
• CTR в рекламной сети.
• Install-to-launch CR.

Activation:

• Time to first session.
• Tutorial completion rate.
• Day-1 retention.

Engagement:

• DAU, WAU.
• Sessions/DAU.
• Avg session length.
• Day-3, D7, D30 retention by cohort/channel.

Monetization:

• ARPU/ARPPU/PUR.
• IAP revenue, ad revenue.
• ROAS D7/D30/D60 by channel.
• LTV (predicted by cohort).

Quality:

• Crash rate.
• Anomalies in funnel.

Geo / segment filters: country, OS, device.

Alerts:

• DAU drop > 10% w/w.
• D1 retention < threshold.
• ROAS D7 < target.

Подводные камни

1. «Релиз = новый build» — но обычно phased rollout (1% → 10% → 50% → 100%). Метрики надо смотреть в разрезе % rollout.
2. Версионная атрибуция: новые установки получают новую версию; старые — обновляются с лагом. Сравнение «версия А vs Б» не на cohort-основе → бredбiаs.
3. MMP attribution lag: данные по installs приходят с лагом 1–3 дня (особенно incrementality).
4. Курс валют: если revenue в local — пересчёт ежедневный или фиксированный?
5. Skip-in-fraudulent campaigns: бот-инсталлы дают низкий ARPU, могут симулировать «падение». Проверьте fraud_rate в MMP.

Эталонный ответ

(1) Health → engagement → monetization → quality. Решение через 7–14 дней (по retention D7 + ARPU stable). (2) Декомпозиция ARPU = ARPPU × PUR; разрезы по cohort/channel/campaign/device/IAP; внешние факторы (FX, AU events). (3) Дашборд: 4 блока (Acquisition / Activation / Engagement / Monetization) + alerts + filters.