Log loss: почему уверенная ошибка получает большой штраф
· Автор: Линия Форы
Как понимать оценку вероятностей без подмены её проходимостью.
Назовите наблюдаемое событие
Для бинарного прогноза логарифмическая потеря зависит от вероятности, назначенной фактически случившемуся исходу. Чем меньше эта вероятность, тем больше потеря. Поэтому два одинаково неверных выбора могут получить разные оценки: утверждения с умеренной и почти абсолютной уверенностью несут разную информацию.
Учебное сравнение
Предположим, выбранное событие не произошло. Система А назначила ему 60%, система Б — 99%. При натуральном логарифме потери равны примерно 0,916 и 4,605. Первая ошибка менее уверенная. Числа относятся к одному условному наблюдению и не означают, что первая система лучше на всём календаре.
Что попросить в отчёте
Нужны исходные вероятности до матча и одинаковый набор результатов. Также важно описание обработки нулевых и единичных значений, поскольку логарифм нуля не конечен. Не сравнивайте разные правила ограничения вероятностей без пояснения. Пользователь системы аналитики может оценивать качество числовых утверждений, если методика открыта; одна итоговая оценка без состава набора остаётся трудно проверяемой.