Вася приплывшийПодскажите, пожалуйста, какие есть рабочие методы сэмплирования данных Source для функционального тестирования ETL-процессов.
Если я правильно понял задачу, просто процитирую Кимбалла из его The Data Warehouse ETL Toolkit, Copyright 2004 by Wiley Publishing, Inc. Зачем изобретать велосипед?
авторAnalyzing source data sounds easy, right? What happens when your source table has 100 million rows, with 250,000 distinct values? The best approach to analyzing monster data sources is with data samples. We’ve used many different techniques for sampling data, ranging from simply selecting the first 1,000 rows to using the most elaborate algorithms, none of which are especially remarkable.We find that the following query, which simply counts the rowsin the table and slices the table evenly into a specified number of segments, accurately samples the data regardless of the values in the table:


To examine more or less data, simply alter the 1,000 to the number of rows you’d like returned in your sample.
Another approach involves adding a random number column to data, which can be sorted to select any desired fraction of the total table. Once you have this sample data, you can perform your value-distribution analysis as usual. Selecting data by any other means, besides selecting all of it, can skew your tests results.

A common mistake we’ve noticed is selecting a specific range of dates to narrow a result set. Data corruption usually occurs by bugs in the application program or by untrained staff. Most anomalies we’ve come across happen temporarily; then either the application is corrected or the person is replaced, and the anomaly disappears. Selecting data within a date range can easily miss these anomalies.
Ну, а дальше, как и было сказано:
авторData-profiling tools are built to perform ... data sampling.
или пишите сами, что и как вы собираетесь понять из профилирования данных.

vikkivнесмотря на относительную медленность SSIS
Стесняюсь спросить: как так? О каких компонентах SSIS идет речь, о каких коннекш менеджерах? Неужели о всех?
Какая методика сравнительного тестирования применялась? Каковы были результаты тестирования? И что же в конечном итоге побыстрее будет?

Дедушка,

на чем основано подобное мнение? Цифры есть? Описание методики тестирования? Ну что бы понять на каких задачах Информатика быстрее. Или на всех? Если есть только ощущения, то у меня они сложились несколько иные. Именно на уровне научных впечатлений, не научных доказательств. Это ведь не одно и тоже, так?

Дедушкаи что?
И ничего. Я так спросил. Надо ведь расширять свой кругозор.

Вася приплывшийя совершенно согласен с Кимбаллом в том плане, что SELECT TOP 1000 для сэмплирования никак не подходит.
Ммм... мне показалось, что в цитате говорится не только об этом. Кимбалл предлагает метод рандомизации записей, по возможности наиболее полно отражающий всю их совокупность. Но это только принцип, приходится еще много что держать в уме, ту же ссылочную целостность. Ясно, что чем больше записей в выборке, тем более полно эта выборка будет соответствовать генеральной совокупности. Также можно придумать и пользоваться любыми другими методами рандомизации.

Как по мне, так при создании решения, использующего источники с огромным количеством записей, такое рандомное сэмплирование данных должно выполняться обязательно, с тем чтобы при внесении изменений в код можно было в комфортное время увидеть эти изменения в целевых таблицах (структурах), а не терять раз за разом бесполезно время на ожидание завершения всех процессов. При этом важно чтобы в выбоку попали все (ну, почти все) аномалии данных, встречающиеся в источнике.
Вася приплывшийЯ себе примерно представляю какой объем работы нужно выполнить, чтобы средствами СУБД отобрать необходимую выборку, поэтому хочу уже готовый инструмент.
Мне-то показалось, что используя тот или иной вариант рандомизации записей и разумно большая выборка не подразумевают под собой какой-то необъятный объем работы. Хотя, многое зависит от обстоятельств. А вероятность наступить на грабли все равно будет отличаться от нуля, вопрос только в том - насколько отличаться и сколько раз в конечном итоге придется наступать.
Вася приплывшийЕще я вижу большой плюс автоматического сэмплирования по сравнению с ручным
Вполне возможно, что это так и есть. Но мне лично, чтобы полноценно "пощупать" данные в источниках по-любому приходится писать и переписывать стописят запросов к источникам. Беда, когда из-за количества записей и других особенностей результата приходится ждать некомфортно долго. Это еще один аргумент в пользу предварительного рандомного ограничения выборки.
Вася приплывшийВы можете предложить какие-нибудь конкретные продукты?
Ataccama Data Quality Analyzer мне удалось только чуть-чуть пощупать. Ничего про него хорошего или плохого сказать не могу, но можно самому посмотреть. Да и в самом SSIS есть Data Profiling Task. Опять же, ничего не могу сказать о его удобстве, возможностях и пригодности для Ваших целей.