Условие

Вы — Growth Data Analyst Intern в HelloFresh. Дан датасет с поведением пользователей в онбординге и подписке (визиты, регистрация, выбор плана, первое блюдо).

Задачи:

Описать воронку и её ключевые провалы.
Определить сегменты с самой высокой и низкой конверсией.
Предложить growth-эксперимент с ожидаемым impact и risks.

Решение

1. Воронка онбординга

Стандартная HelloFresh-воронка:

Visitors → Plan Page → Sign-up Started → Sign-up Completed
       → Plan Selected → Recipe Selection → Checkout Started
       → First Box Ordered → First Box Delivered → Active After 4 Weeks

Метрики на каждом шаге:

Drop-off rate = 1 − (next/prev).
Time-to-step (медиана).
Repeat-step: пользователь, который вернулся со страницы N к N−1, сигнал UX-сложности.

Ключевые провалы (типичные для HelloFresh):

Plan Selected → Recipe Selection: «слишком много опций» (paradox of choice).
Recipe Selection → Checkout: «дороже, чем ожидал» — sticker shock.
First Box Ordered → Active After 4 Weeks: проблемы доставки / качество.

2. Сегменты

Декомпозиция конверсии «sign-up → first box»:

Источник трафика: paid search vs organic vs referral. Paid обычно конвертит ниже (cold).
Geo: локальные особенности (logistics quality, кулинарные предпочтения).
Устройство: mobile-web обычно ниже desktop из-за длинного флоу.
Промо-код: пользователи с промо конвертят выше, но retain хуже.
Размер семьи: 4-person plan retain лучше 2-person (выше WTP).

Найдите топ-3 сегмента с самой высокой и низкой конверсией:

SELECT source, geo, device,
       COUNT(*)                                AS users,
       SUM(first_box) * 1.0 / COUNT(*)         AS cr,
       SUM(first_box) AS conversions
FROM users
WHERE signup_date BETWEEN '2024-01-01' AND '2024-03-31'
GROUP BY 1,2,3
HAVING COUNT(*) >= 100
ORDER BY cr DESC LIMIT 10;

3. Эксперимент: «Smart recipe defaults»

Гипотеза: на этапе Recipe Selection пользователь видит много опций → перегруз → отвал. Если предлагать 3 рекомендованных рецепта по умолчанию, основанных на регион/предпочтения, конверсия в Checkout вырастет.

Дизайн:

50/50 sticky split по user_id.
Юнит — пользователь, не сессия.
Метрики:
- Primary: CR Recipe → Checkout.
- Secondary: CR Sign-up → First Box, AOV, time-to-checkout.
- Guardrails: уровень customization (прокси на «персонализацию»), retention week-4, NPS.
MDE: 1pp absolute (baseline 60% → 61%); при daily traffic 5k newcomers → 14 дней до значимости.
A/A pre-test 7 дней, SRM check.

Ожидаемый impact (грубо):

При +1pp CR на Checkout от 60→61: дополнительный first-box ≈ 1.7%. Расчёт: рост x1.0167. На годовой объём → значимо.
LTV не должно снизиться: если smart-defaults plombé «правильные» рецепты, retention не должен упасть. Это и есть ключевой риск.

Risks:

Loss of agency: пользователи, которым важен выбор, могут уйти от «уже выбранного» — drop в LTV.
Cold-start recommender: в первые недели рекомендации слабые, ухудшат CR.
Quality of «smart» model: если рекомендации плохие, retention drop.
Novelty effect: первые 2 недели — overestimation.

Проверка / интерпретация

Sanity: SRM (chi-sq на split).
Primary: z-test пропорций + CI.
Гарды: monitor weekly retention, alert если drop > 0.5pp.
Сегментный анализ: эффект может быть в одном сегменте. С поправкой Холма.

Подводные камни

Воронка ≠ когорта: один пользователь может быть на разных шагах в разное время. Используйте пользовательскую воронку (на cohort с условием «sign-up в марте»).
paid_users vs organic различаются по нагретости — сравнивать «общую» конверсию некорректно без сегментации.
Sample Ratio Mismatch: при наличии разных доменов (mobile-web, app) split может разъезжаться.
Дисперсия retention 4w: меньше выборка, шире CI. Используйте surrogate (D7 retention).
Промо-код как treatment: если эксперимент совпал с маркет-акцией, эффекты confounded. Стратифицируйте.

Эталонный ответ

(1) Воронка: visitors → sign-up → plan → recipe → checkout → first box → 4-week active. Главные провалы — Recipe→Checkout и First-box→Active. (2) Сегменты: paid mobile = низкая, referral desktop = высокая. (3) Эксперимент — smart recipe defaults; ожидание +1pp CR; ключевой риск — снижение customization → retention drop. Дизайн с гард-метриками retention/NPS.

Hello Fresh — анализ онбординга и предложение growth-эксперимента