Условие
Заменяем большую ML-модель на лёгкую (latency −50%, серверные расходы −70%). Хотим показать, что качество не хуже на margin = −0.5% relative. Опишите дизайн.
Сценарий A/B: non-inferiority test для дешёвой замены модели
A/B-тестыПлатформенные нюансыСложнаяSenior
Хочешь увидеть разбор?
Зарегистрируйся бесплатно — откроется развёрнутое решение этой задачи и ещё 4 на выбор.
Зарегистрироваться и увидеть разборУже есть аккаунт? Войти