ROC AUC: почему оценка ранжирования не равна вероятности победы
· Автор: Линия Форы
Как читать качество порядка прогнозов без лишней интерпретации.
Определите задачу
Оценка ранжирования относится к способности ставить одни случаи выше других по заданному правилу. Она не является вероятностью исхода отдельного матча. Поэтому значение 0,80 у метрики нельзя подписывать как 80% шанса победы команды. Сначала проверьте событие, набор и тип выходных оценок метода.
Разберите смысл различия
Две системы могут по-разному назначать числовые значения, сохраняя похожий порядок событий. Это не делает их вероятности одинаково хорошо согласованными с реальными частотами. Для проверки калибровки нужен отдельный анализ. Хорошее ранжирование и качество конкретных процентов являются связанными, но различными характеристиками, которые нельзя смешивать в одном рекламном числе.
Попросите полный отчёт
Пользователю спортивной аналитики полезны объём, доли классов, правила теста и дополнительные метрики. Если в наборе отсутствует одна из необходимых групп, привычный расчёт требует отдельного рассмотрения. Даже корректная оценка на старой истории не гарантирует будущего качества при смене условий. Метрика помогает сравнению методов, когда её смысл и границы явно указаны рядом с результатом.