Kaspi.kz — A/B-тест last-seats: оценка и принятие решения

Условие

С 03.07 по 14.07.2022 запущен A/B в KaspiTravel: в last-seats ветке к билету в результатах поиска показывается «осталось N билетов по этой цене». Базовая конверсия из просмотра результатов в покупку = 9%. Гипотеза: +5% относительно (то есть 9% → 9.45%) благодаря FOMO.

Дано: pa_hiring_task (события), pa_hiring_task_experiment_data (u_id, event='viewed_experiment', fork), has_avia_transactions (повторные).

Решить:

1. Увеличилась ли конверсия в test? На сколько?
2. Можем ли принять решение? Хватает ли данных?
3. Различия по типу перелёта (intl/dom).
4. Различия по новым/повторным.
5. Какие дополнительные метрики стоит мониторить.