Вероятность 60 процентов: что проверяют на серии событий
· Автор: Линия Форы
Почему отдельная неудача не опровергает оценку и отдельная победа не доказывает её качество.
Одна оценка допускает разные исходы
Вероятность 60% не является обещанием победы. Если результат не наступил, это совместимо с исходной оценкой. Одновременно удачный исход тоже не доказывает, что числу следовало доверять. Для проверки нужен понятный метод и последовательность сопоставимых оценок.
Условная группа
Для большого набора событий с близкими оценками можно сравнивать наблюдаемую частоту с заявленным уровнем. Точного совпадения в каждой короткой группе ожидать нельзя. Если событий мало, различия чувствительны к отдельным исходам и требуют осторожной интерпретации, а не немедленного вердикта.
Не меняйте группы задним числом
Границы, правила включения и статус событий должны быть понятны заранее. Иначе можно подобрать удобное представление истории. Сохраняйте первоначальные вероятности, а не только последнюю версию, которая могла появиться после обновления данных или завершения встречи.
Что важно пользователю
Разделяйте калибровку чисел, качество объяснения и фактический результат одного матча. Это разные свойства. Система аналитики заслуживает содержательной проверки, когда позволяет восстановить оценки и их историю, а не предлагает считать каждую победу подтверждением абсолютной точности модели.