Учи.ру — парадокс онбординга: рост шагов воронки, но падение CR в оплату

Условие

Тестировали новый онбординг. Итог — общая конверсия не выросла, но статзначимо:

• ↑ CR «Зарегистрирован → начал решать» (70% → 83%, p=0.02).
• = CR «начал → закончил бесплатную часть» (95% vs 96%, p=0.87).
• = CR «закончил → перешёл к тарифам» (19% vs 18%, p=0.93).
• ↓ CR «тарифы → купил» (30% → 26%, p=0.01).
• = Общая CR register → купил (3.8% vs 3.7%, p=0.89).

Как продуктово объяснить, почему упала CR на этапе оплаты?

Решение

Корневая причина — composition shift (Simpson's paradox)

Новый онбординг привлёк более широкую аудиторию к шагу «начал решать»:

• Раньше до контента доходили только мотивированные (70%).
• Теперь — 83%, в том числе менее мотивированные.

Эти дополнительные 13pp пользователей прошли далее по воронке без значимого drop на промежуточных шагах (потому что бесплатное; даже мало мотивированный решает 1-2 задачи).

Когда они дошли до тарифов — WTP (willingness-to-pay) у них ниже, чем у «оригинальных» пользователей. Поэтому конверсия на этапе «тарифы → оплата» в среднем упала: новых много, но платят редко.

Композиционный эффект

Допустим:

• Старая когорта: на тарифах было 0.7 × 0.95 × 0.19 = 12.6% от регистраций; платило 30% → 12.6% × 30% = 3.8%.
• Новая когорта: 0.83 × 0.96 × 0.18 = 14.3%; платит 26% → 14.3% × 26% = 3.7%.

Дополнительные 1.7pp на тарифах — это «новые», у которых willingness-to-pay около 0–10%. Если их 1.7 / (12.6+1.7) = 11.9% от пользователей на тарифах, и pay% у них = 0%, а у «старых» = 30%, то средняя:

(12.6 × 30 + 1.7 × 0) / 14.3 = 26.4%

— что совпадает с фактом.

То есть CR на оплате упала не из-за ухудшения продукта, а из-за смены mix аудитории.

Альтернативные объяснения

1. Изменение конкретной механики на странице тарифов: возможно, новый онбординг автоматически листает на тарифы менее мотивированных, у них больше времени на сомнения.
2. Цена не изменилась, но «ценность» стала ниже относительно: новый онбординг не объясняет premium-features.
3. Время до tariffs page: возможно, в test пользователи доходят быстрее (меньше investment) → ниже WTP.
4. Pricing page UI изменился случайно вместе с onboarding.

Что делать

1. Сегментировать post-test users по «мотивации» (например, «в первый день решил ≥ 5 задач» vs «решил 1»). Сравнить CR в pay по сегментам — если у «мотивированных» CR не упала, гипотеза подтверждена.
2. A/B на pricing page: внутри test-группы попробовать новый onboarding × старый pricing flow.
3. Если так — onboarding оставить, потому что общая CR не упала, и есть рост качества user-base (больше людей заходят в продукт).
4. Долгосрочно: «не платящие» пользователи могут стать платящими через retention/freemium-подходы.

Дополнительные продуктовые гипотезы

• Новые пользователи доходят до tariffs page быстрее, чем психологически готовы. Добавить «нужна неделя на изучение продукта».
• Pricing page показывает все тарифы → новые пользователи хотят дешёвый или бесплатный, не находят и уходят. Добавить «Trial» / «Скидка для новых».

Подводные камни

1. Не делать вывод «продукт хуже» только по одной метрике. Проверьте композицию.
2. Multiple testing: 5 шагов × 2 группы = 10 проверок; реальная alpha без поправки больше.
3. Sample: новый онбординг увидели только новые пользователи; старая когорта уже прошла в historical period — selection bias.
4. «Купил» vs «remained paid month 2»: краткосрочная конверсия может быть ниже, но retention выше у новых.
5. Pricing page UX мог измениться непреднамеренно при release.

Эталонный ответ

Composition shift: новый онбординг доводит до tariffs page больше менее мотивированных пользователей. CR в pay у них ниже, что и тянет среднюю CR вниз. Общая CR register → buy не упала — продукт не стал хуже, просто mix аудитории изменился. Решение: сегментировать пользователей по «мотивации», проверить CR на pay по сегментам.