Тестовый набор после настройки: когда проверка перестаёт быть независимой
· Автор: Линия Форы
Почему многократный выбор по одному отчёту меняет его смысл.
Проследите процесс
Если по результатам теста меняли параметры и снова выбирали лучший вариант, этот набор уже участвовал в разработке. Его можно описывать, но не следует выдавать за совершенно новую независимую проверку окончательной версии. Важно знать не только дату матчей, но и то, как результаты использовались авторами метода.
Разберите учебный случай
Команда проверила двадцать вариантов и оставила тот, который лучше выглядел на одном отрезке. Показанный итог относится к процессу отбора, а не к заранее зафиксированному единственному методу. Для оценки переноса нужен следующий этап с правилами, установленными до просмотра его результатов, и сохранённой версией расчёта.
Проверьте документацию
Пользователю системы аналитики полезны даты фиксации метода, границы данных и журнал изменений. Необязательно считать любую настройку нарушением: это нормальная часть разработки при правильной подписи. Ошибка возникает в интерпретации доказательства. Красивый процент на многократно просмотренном наборе не равен такому же результату на ещё неизвестных событиях и требует соответствующего ограничения в выводе.