Сценарий: метрики качества content discovery для контентного продукта

Условие

В стриминге фильмов CPO хочет улучшать рекомендации. Какие метрики качества discovery предложить?

Решение

Хороший discovery vs плохой

• Хороший: юзер открывает контент → смотрит → возвращается за ещё.
• Плохой: юзер бросает в первые 5 минут / возвращается реже.

Иерархия метрик

1. Surface metrics (что произошло на экране):

   • CTR карточек контента.
   • Scroll depth на главном экране.
   • Number of impressions per session.

2. Engagement metrics (потребление):

   • Watch time per session.
   • Completion rate (% досмотревших).
   • Rating after watch.

3. Outcome metrics (продукт работает):

   • Watch time per week.
   • Retention D7/D30.
   • Subscription renewal.

Discovery-specific метрики

• Discovery rate: % сессий, где юзер открыл контент из рекомендаций (а не searched directly).
• Catalog coverage: % уникальных тайтлов показанных хотя бы одному юзеру (борьба с filter bubble).
• Long tail engagement: watch time на не-блокбастеры (доля выручки/времени).
• Novel discovery: % open'ов где жанр/режиссёр new для юзера.

Diversity метрики

• Intra-list diversity: насколько разные рекомендации внутри одной выдачи.
• Inter-user diversity: насколько разные рекомендации между юзерами (фильтр-пузырь).

Long-term vs short-term

Recommender, оптимизированный на CTR, может рекомендовать кликбейт — высокий CTR, низкая retention. Нужны long-term outcome метрики:

• Watch time over week, не за session.
• Retention 30+ дней.
• Sub renewal через 12 месяцев.

A/B-тест recommender

• Test: новый алгоритм.
• Control: текущий.
• Measure: CTR (short-term) + watch time/week (mid) + D30 retention (long-term).

Часто новый алгоритм улучшает CTR, но ухудшает watch time — клик-бэйт problem. Без long-term метрик попадёте в ловушку.

Cold start

• New user: explore-exploit, нужны метрики «насколько быстро узнаём preferences».
• New title: cold-start метрика «время до 1000 просмотров».

Negative signals

• Quick exit (< 2 мин) — implicit dislike.
• «Skip credits» = досмотрел.
• Add to «Not interested» — explicit dislike.

Подводные камни

1. CTR — leading indicator, но clickbait risk. Long-term retention важнее.
2. Без diversity юзер попадает в filter bubble и устаёт.
3. Catalog coverage низкая = популярные тайтлы дублируются, новый контент не находит аудиторию.
4. Самые активные юзеры доминируют в обучении — recommender оптимизируется под них.
5. Watch time может быть high для long-and-boring контента (юзер заснул) — completion rate лучше.

Эталонный ответ

Surface (CTR, scroll), Engagement (watch time, completion), Outcome (retention, renewal). Discovery-specific: catalog coverage, novel discovery, diversity. Watch out за clickbait — оптимизация только CTR убивает retention.