Precision и recall: два вопроса к спортивным прогнозам
· Автор: Линия Форы
Как отличать точность сигналов от полноты обнаружения событий.
Разделите знаменатели
Precision показывает долю правильных положительных сигналов среди всех положительных сигналов метода. Recall показывает, какая доля фактически положительных случаев обнаружена. Эти метрики отвечают на разные вопросы. Их нельзя заменять общим словом точность без определения: одинаковый числитель при разных знаменателях даёт разный смысл.
Разберите учебные числа
Система выдала двадцать сигналов, из них двенадцать верны. Во всём наборе событие произошло тридцать раз. Precision равен 12/20, то есть 60%, recall — 12/30, то есть 40%. Оба результата корректны. Они не являются вероятностями конкретного следующего события и не описывают все отрицательные случаи.
Проверьте условия
Для сравнения нужны одинаковый тест, определение события и правило выдачи сигнала. Если порог меняется, соотношение метрик тоже может измениться. Пользователю спортивной аналитики полезно видеть количества и ограничения. При нулевом знаменателе обычная доля не определена, поэтому способ отображения такого случая следует указывать явно, а не выдавать техническое значение интерфейса за содержательную оценку качества.