Skytec Games — A/B-тест роста доли платящих с 10% до 11%

Условие

В мобильной игре около 10% игроков платят в первый месяц после установки (база — 500 игроков). Геймдизайнеры разработали обновление, которое по их экспертной оценке должно поднять долю плательщиков с 10% до 11%. Цель эксперимента — подтвердить или опровергнуть гипотезу.

Что нужно сделать:

1. Описать оптимальный дизайн эксперимента.
2. Рассчитать длительность эксперимента, если каждый день в игру приходят ~100 новых игроков.
3. Самостоятельно сгенерировать датасет с ~10% плательщиков (контроль) и рассчитать доверительный интервал.
4. Сгенерировать несколько вариантов экспериментальной группы (хуже, лучше, без эффекта), рассчитать силу эффекта, ДИ и выводы для каждого.
5. Решить задачу двумя подходами: frequentist и bayesian.
6. Объяснить выбор методики.