Brier score для спортивных прогнозов: простой пример
· Автор: Линия Форы
Как оценить числовую вероятность, а не только угаданный исход.
Закодируйте событие
Рассмотрим только бинарный вопрос: победила ли выбранная команда в оговорённое время. Победа кодируется единицей, любой другой результат — нулём. Для одной записи квадрат разности между прогнозной вероятностью и результатом даёт вклад в Brier score. Здесь используется обычная бинарная шкала без дополнительного масштабирования.
Проверьте арифметику
При вероятности 0,70 и состоявшейся победе вклад равен (0,70 − 1)² = 0,09. Если победы нет, получается (0,70 − 0)² = 0,49. За серию берут среднее таких вкладов. Меньшее значение лучше по этой метрике, но один матч не позволяет надёжно сравнить качество систем.
Задайте одинаковые условия
Сопоставлять оценки нужно на одних событиях, при одинаковом вопросе и доступной заранее информации. Если одна система выбирает только лёгкие случаи, а другая отвечает на весь календарь, различие может объясняться составом набора. Сам показатель не измеряет денежный результат и не заменяет проверку калибровки. В отчёте нужны объём, период и описанный способ расчёта.