PM gist: запускать ли фичу при неоднозначных A/B-результатах

Условие

A/B-тест новой фичи показал: вовлечённость выросла на 3% (значимо), но доход просел на 1.5% (тоже значимо). Релизить?

Решение

Подход

«Нет однозначного ответа, нужны контекст и фреймворк решения». На собеседовании именно структура мышления важнее ответа.

1. Понять, что мерили.

• Engagement — какая именно метрика? % DAU, сделавших действие vs время на сайте — это разные истории.
• Revenue — конверсия в покупку, ARPU, или общий topline? Где именно просело?

2. Декомпозировать revenue drop.

Возможные источники:

• Меньше показывали рекламу (engagement-фича отнимала экранное пространство).
• Изменилась воронка покупки.
• Каннибализация другой revenue-фичи.
• Просто шум при коротком тесте.

3. Долгосрочный vs краткосрочный.

• Если engagement растёт устойчиво, долгосрочная retention улучшится → revenue в горизонте 3-6 месяцев может вырасти.
• Часто короткие тесты недооценивают long-term effect; long-term holdout даёт более правдивую картину.

4. Каким бизнесом мы занимаемся.

• Growth-stage: можно жертвовать revenue ради engagement, если runway позволяет.
• Public company, фокус на квартальном profit: −1.5% revenue плохая идея.

5. Альтернативы.

• Запустить только для части пользователей (например, новых), где engagement важнее.
• Доработать фичу так, чтобы не каннибализировать монетизацию.
• A/B с тремя группами: контроль, фича, фича+rev-fix.

6. Стейкхолдеры.

Решение многосторонне: продукт, маркетинг, финансы, рост. Final call не у data scientist, но у data scientist рекомендация с трейд-офом.

Структура ответа на собеседовании

1. «Не релизить и не катить — оба ответа неполные. Нужно понять контекст.»
2. Декомпозировать revenue drop по источникам.
3. Спросить про долгосрочный horizon и стадию бизнеса.
4. Предложить эксперимент с long-term holdout или модифицированную фичу.

Подводные камни

1. «Engagement важнее всего» — наивно для public-company.
2. «Никогда не теряем revenue» — игнорирует, что engagement тоже превращается в деньги через retention.
3. Доверять только одному тесту. Особенно когда метрики борются, нужны несколько итераций и более длинный horizon.
4. Не считать business case. 3% engagement vs 1.5% revenue несравнимы напрямую — нужны $-эквиваленты обеих метрик.

Эталонный ответ

Это решение про trade-off, и единственного «правильного» ответа нет. Декомпозировать revenue drop, разобраться с долгосрочной retention через long-term holdout, обсудить с финансами в $ ценах, предложить вариант фичи без revenue-просадки. На собеседовании ценится структура: контекст → декомпозиция → долгосрочные эффекты → стейкхолдеры → конкретные альтернативы.