Таблица калибровки: как проверить группы вероятностей
· Автор: Линия Форы
Почему для оценки уверенности нужна серия сопоставимых прогнозов.
Соберите группы заранее
Калибровка сопоставляет назначенную вероятность с фактической частотой события. Для простого отчёта можно заранее задать интервалы, например от 60 до 70%. В каждой группе сохраните число записей, среднюю прогнозную вероятность и долю состоявшихся событий. Не меняйте границы только ради более красивого результата.
Прочитайте пример
В условной группе из ста прогнозов средняя оценка равна 65%, событие произошло в шестидесяти двух случаях. Разница составляет три процентных пункта. Это наблюдаемое расхождение на конкретной выборке. Оно не означает, что все будущие прогнозы следует механически уменьшить на три пункта, и не описывает остальные интервалы уверенности.
Укажите неопределённость
В маленьких группах отдельный результат заметно меняет частоту, поэтому рядом с долями нужен объём. Калибровочная таблица также не сообщает всё о способности различать сильные и слабые случаи. В проверке системы полезно сочетать её с другими оценками на отложенной истории. Хорошее совпадение одной группы не превращается в гарантию отдельного исхода.