Finstar — RCA падения конверсии в completed-заявки по воронке скоринга

Условие

Дана выборка заявок (Testsample) с полями: rep_date, up_stage, mid_stage, page_status, sub_stage, is_completed, is_approved, traf_cat_big, traf_cat_small, sales_channel и др.

В период замера произошло ухудшение конверсии в is_completed, что снизило выручку. Найти «корень проблемы».

Решение

Шаг 0 — определить метрику

Completed rate = sum(is_completed) / count(*) по дате (или когорте).

Сначала визуализация: построить ежедневный CR и убедиться, что падение реальное (не шум за один день).

Шаг 1 — декомпозиция воронки

Воронка по полям:

ApplicationSummary → KYC Details → Bank Verification → e-Sign → Disbursed

Считаем CR на каждом шаге как:

• CR_step = N(вошли в шаг или прошли дальше) / N(вошли).

SELECT
  rep_date,
  up_stage,
  COUNT(*)                                              AS entered,
  SUM(CASE WHEN is_completed = 1 THEN 1 ELSE 0 END)     AS completed,
  ROUND(100.0 * SUM(CASE WHEN is_completed = 1 THEN 1 ELSE 0 END)
                  / COUNT(*), 2)                        AS cr_pct
FROM tickets
GROUP BY rep_date, up_stage
ORDER BY rep_date, up_stage;

Ищем шаг, на котором CR упал больше всего. Если на одном (например, KYC → BankVerification), фокусируемся на нём.

Шаг 2 — декомпозиция отказов по причинам

rejection_group, sub_stage — почему отвалились.

SELECT rep_date, sub_stage, COUNT(*)
FROM tickets
WHERE rejection_group = 'Rejected'
GROUP BY rep_date, sub_stage
ORDER BY rep_date, COUNT(*) DESC;

Сравнить долю каждой причины «до периода» vs «в периоде». Часто 1–2 причины аномально выросли.

Кандидаты:

• Active moratorium — мораторий БКИ на новых клиентов вырос.
• Scoring Model Reject — модель скоринга стала жёстче (релиз?).
• New customer rejection due to age — изменили правило по возрасту.

Шаг 3 — срезы

MECE-срезы:

• Канал трафика (sales_channel, traf_cat_big). Вырос ли паид? Качество органики vs паид часто разное.
• Источник (traf_cat_small). Один партнёр мог начать гнать «мусорный» трафик.
• Тип трафика (traf_cat_type). Free vs Paid.
• Платформа. Mobile vs Desktop.

SELECT
  rep_date,
  sales_channel, traf_cat_big, traf_cat_small,
  ROUND(100.0 * AVG(is_completed::int), 2) AS cr_pct,
  COUNT(*) AS volume
FROM tickets
GROUP BY rep_date, sales_channel, traf_cat_big, traf_cat_small
HAVING COUNT(*) > 50
ORDER BY rep_date, cr_pct ASC;

Шаг 4 — гипотезы и проверка

Шаг 5 — корень и рекомендации

Скажем, обнаружили: на фоне нового партнёра Whistle доля Scoring Model Reject выросла с 5% до 30%. Этот партнёр приводит трафик, который скоринг массово отклоняет.

Рекомендации:

1. Снизить долю Whistle в миксе (либо renegotiate CPL, либо отключить).
2. Передать в команду скоринга: настроить отдельный режим/калибровку для этого источника.
3. Добавить алерт на внезапные сдвиги CR по партнёру (anomaly detection).
4. Считать CPA по партнёру (cost / disbursed), а не CPL — реальная экономика.

Power BI визуализация

• Линия Completed rate по дням (фокус-метрика).
• Иерархия up_stage > mid_stage > page_status > sub_stage — матрица. Доли отказов на каждом уровне.
• Срезы по sales_channel, traf_cat_small.

Подводные камни

1. Только одна ось разреза. Если смотреть только по каналу, найдёте ложного «виноватого». Идти по нескольким осям.
2. Симсон. Совокупно CR упал, по каждому каналу остался прежним — изменился микс. Не путайте «упало по каналу» и «изменился вес канала».
3. Подтверждение задним числом. Найти только то, что подтверждает гипотезу о релизе. Закладывайте альтернативы (трафик, сезон, технический сбой).
4. Период наблюдения. Если точка падения — суббота, может оказаться, что в выходные обработка ручная и дольше → нужна поправка.
5. Vanity-внесение. «KYC дроп с 95% до 90% — катастрофа». Считайте абсолютные цифры — может, разница в 100 заявках.

Эталонный ответ

Декомпозиция метрики на шаги воронки, на причины отказа, на срезы канала. Фокус — на шаге с максимальным дельтой и проверка через срезы. Подтверждение через timing-релиза/партнёра. Рекомендации обязательно дополнить алертами на будущее.