Balanced accuracy: как уравнять вклад двух групп
· Автор: Линия Форы
Почему оценка может отличаться от общей доли правильных ответов.
Назовите вариант метрики
В обычной бинарной постановке сбалансированная точность усредняет долю распознанных положительных и долю распознанных отрицательных случаев. Эти группы получают одинаковый вес независимо от их численности. Для конкретного отчёта уточните определение и наличие дополнительных корректировок: одинаковое название не всегда означает одну шкалу.
Посчитайте пример
Метод верно определил восемь из десяти положительных случаев и сорок пять из девяноста отрицательных. Общая accuracy равна 53%, а среднее групповых долей — (80% + 50%) / 2 = 65%. Разница не является ошибкой: способы взвешивания отвечают на разные вопросы и используют один набор результатов.
Используйте по назначению
Метрика помогает увидеть качество по группам, но не заменяет оценку вероятностей и всю задачу анализа. Пользователю системы полезно видеть исходную матрицу и состав теста. Сравнивать нужно одинаковые события и правила. Большая сбалансированная точность не доказывает автоматически меньшую ошибку числовых вероятностей или лучший результат любого другого критерия без отдельной проверки соответствующей задачи.