Добрый день
У меня есть тулза написанная на pl/sql, которая сравнивает два набора данных (около десятка таблиц)
Т.е. у нас есть таблица, заполненная данными, которые прошли через логику какой то ETL, потом мы изменияем логику обработки данных (заливаем новый код в базу) , эта таблица снова наполняется данными, обработанными на новом коде.
Входные данные одни и теже. Эта тулза сравнивает две эти таблицы (до и после) и выдает отчет в виде вьюхе в которой перечислены все расхождения и ссылки на записи в таблицах где они найдены.
На выходе мы имеем большое количество расхождений в результатах сравнения. Они связаны с тем, что
1. Специфика работы ETL такова, что некоторые поля могут заполнятся не четко - т.е. из некоторого набора значений, неоднозначно
2. Баги

Моя задача найти расхождения, которые могут возникнуть только в результате некорректной работы логики, т.е. баги. Все остальные расхождения я должен пропустить.

Теперь проблема - проблема отфильтровки багов от всех остальных расхождений в том, что в таблицах содержится много строк (10 млн)
У меня просто нет столько времени, чтобы успеть пересмотреть все расхождения.

Вопрос - как с этим бороться. Ответ - уменьшить количество данных уже в работе, но пока маловероятен. Какие еще есть способы? Может быть есть какие то статистические методы очистить результат? Короче любые оригинальные идеи - хелп!

да вопрос как раз в том, как отделить 1 от 2.
как этот шум отчистить

конечно бессмысленно. зато комментить ерунду осмысллено