Условие
Тестировали новый онбординг. По итогу общая конверсия Зарегистрирован → Купил не выросла, но при этом:
| Этап | Control | Target | p-value |
|---|---|---|---|
| Зарегистрирован → начал решать контент | 70% | 83% | 0.02 |
| Начал → закончил бесплатную часть | 95% | 96% | 0.87 |
| Закончил → перешёл на тарифы | 19% | 18% | 0.93 |
| Перешёл на тарифы → Купил | 30% | 26% | 0.01 |
| Зарегистрирован → купил | 3.8% | 3.7% | 0.89 |
Объясните продуктово, почему упал переход «тарифы → оплата».
Решение
Что произошло численно
Onboarding значимо поднял CR в активацию (+13 п.п.) — на этапе тарифов оказались новые пользователи, которые в control НЕ попадали туда вовсе. Эти «лишние» пользователи менее платёжеспособны/мотивированы, чем «обычные», и тянут CR этапа «тарифы → купил» вниз.
То есть состав воронки на финальных этапах изменился:
- Control: на тарифы доходили только исходно мотивированные (которые решили в среднем больше задач без онбординга).
- Target: к ним добавились слабо мотивированные (которых онбординг «протолкнул» по воронке через рассрочку шагов, гайд, нудинг).
Слабые мотивированные тарифную страницу видят, но не платят.
Возможные продуктовые объяснения
- Selection / отбор воронки. Онбординг увеличил долю тех, кто доходит до тарифов. Эти добавленные пользователи дешевы по интенту → их CR ниже.
- Утомление перед оплатой. Если новый онбординг длинный, пользователь устал, на тарифной странице меньше конверсии («onboarding fatigue»).
- Несоответствие ожиданий. Онбординг продал «бесплатную» ценность, на тарифах вдруг просят денег → чувство «обмана».
- Скорость решения. В новом онбординге могло измениться, какие задачи решает ребёнок, и «бесплатная часть» оказалась слишком хорошей — нет стимула платить.
Как проверить
- Сегментировать target по «исходной» мотивации (например, источник трафика, возрастная группа). Если в control-выборке у мотивированных CR оплаты остался ≈ 30% — гипотеза 1 верна.
- Метрика utility-of-onboarding: время от регистрации до тарифов; в target оно выросло — хуже.
- Текстовая аналитика: в target-группе доля тех, кто посмотрел тарифы и ушёл, выше. Что они сказали в опросах?
- Long-term: посмотреть Day 14 / Day 30 retention; возможно, target платит позже, не сразу.
Решение
- Не катать новый онбординг как есть — нужно удержать прирост активации, не теряя CR оплаты.
- A/B вариаций: сократить длину onboarding, добавить «pricing-teaser» уже в onboarding, чтобы устранить «обман».
- Сегментный rollout: для целевых сегментов с высоким интентом — оставить старый онбординг.
Подводные камни
- Промежуточные p-value большие (0.87, 0.93) — изменения не значимы; не интерпретируйте «как тренд».
- Шкала:
30%от 18% — это уже доля от small base; абс. число оплат может быть равно или больше при шире-воронке. - Парадокс Симпсона в действии: общий CR
~3.7%≈ control, но внутри сегментов всё «лучше». Распакуйте сегменты. - Проверить срок теста: если новый онбординг проще, быстро привлекает «лёгких» пользователей, которые позже не платят — может, нужно дольше теста.
Эталонный ответ
Воронка изменилась по составу: новый онбординг протолкнул больше слабо мотивированных пользователей до тарифов; их CR оплаты ниже → метрика этапа упала, но абсолют оплат остался ≈ тот же. Решение — сегментный rollout или укоротить онбординг.