Редкое событие и высокая точность: как проверить впечатляющий процент
· Автор: Линия Форы
Почему частый ответ «нет» может выглядеть лучше, чем работает.
Посмотрите частоту события
Общая точность зависит от состава набора. Если событие встречается редко, правило постоянного отрицания может иметь высокий процент правильных ответов, не распознавая ни одного положительного случая. Поэтому число нужно читать вместе с частотой классов и вопросом, который система действительно должна решать.
Посчитайте пример
В условной истории событие произошло в пяти встречах из ста. Метод всегда отвечает «не произойдёт» и получает 95% правильных ответов. При этом он пропускает все пять интересующих случаев. Арифметика корректна, но один высокий процент не доказывает полезности для поиска именно таких событий.
Попросите разложение
Покажите матрицу ошибок и подходящие дополнительные метрики. Пользователю системы аналитики важно видеть, сколько событий обнаружено и сколько ложных сигналов выдано. Не сравнивайте точности на наборах с разной частотой классов без пояснения. Для будущего прогноза также нужна проверка на новых данных; удачное описание общей группы не устраняет проблему редких случаев, если выбранный метод их фактически не различает.