Порог уверенности и охват: почему ответов становится меньше
· Автор: Линия Форы
Как читать отчёт системы, которая публикует только часть прогнозов.
Разделите две величины
Порог определяет, какие оценки система допускает к публикации. Охват показывает, какая доля исходного набора прошла правило. Если отчёт сообщает лишь точность отобранных случаев, читатель не видит, сколько матчей осталось без ответа. Для полного описания нужны и результат, и число исключённых записей.
Посчитайте пример
Из двухсот условных матчей опубликованы сорок прогнозов. Охват равен 20%. Если тридцать из них оказались верными, точность на выбранной группе составляет 75%. Эти две доли отвечают на разные вопросы. Нельзя говорить о 75% точности на всём календаре, когда остальные сто шестьдесят событий не оценены таким способом.
Сравните одинаковые правила
Порог должен быть задан до просмотра результатов теста. При сравнении сервисов уточните доступный календарь и правила отказа. Рост точности после ужесточения отбора может сопровождаться резким уменьшением охвата. Пользователю системы аналитики полезно понимать этот обмен, чтобы редкие ответы с красивым процентом не воспринимались как универсальное качество разбора любого матча.