Коллеги, день добрый.

Александр расписал в соседней ветке указанную цепочку, и она нередко встречается.
Пожалуйста, объясните мне сакральную сущность данных преобразований.

Что мешает ее сократить? Например:
Call-center
CRM \ (розница)
CRM \\ (корпораты)
ABS -> ETL -> DWH -> ADWH -> визуализатор?
CRM // (брокеры)
Back /
...

Просто чем больше систем, тем:
* Сложнее понять откуда берутся данные - отсюда интерес к Data Governance
* Усложняется получение отчетности
* Удлиняется цикл получения отчетности
* Растут требования к аппаратному обеспечению
* Повышается сложность сопровождения
* Увеличивается кол-во сотрудников в отделах разработки и сопровождения систем отчетности
* Сильно возрастает % возникновения ошибки:

Если допустить, что % внесения ошибки - порядка 2% на каждом этапе, то в итоге получим
->ETL->DWH->Stage->DWH(ODS)->DWH(Analyst)->OLAP/Reporting
0,98 х 0,98 х 0,98 х 0,98 х 0,98 х 0,98 = 0,868.. то есть 13% - кстати, это один из аргументов 6 сигм.

Ладно, согласен с DWH - хранить исторические данные из разных систем, обеспечивать взаимодействие нескольких информационных систем, ок. А дальше-то зачем?

Что мешает использовать связку DWH - Vertica - Tableau (как Авито сделали) или еще проще Source -> Teradata -> Tableau?
Ну или сразу в тот же Qlik запихать - а так и приходится делать, когда перед руководством встает вопрос о быстром получении достоверной отчетности?

И не говорите про "большие объемы данных" - в Магните / Х5 / ГПН / Сбербанке / Росгострахе / Ростелекоме и т.д. их не меньше.

Нет, конечно, если хочется быть начальником 40 человек, и чтоб сервачков было побольше утилизировано, или чтоб считать себя важным незаменимы человеком, чтоб на поклон ходили и по 2 месяца отчет ждали - то ок, это понятно, дай Бог каждому Пока бизнес платит, чего бы и нет - я бы и больше систем насовал, тот же Data Governance, или DL стал рисовать какой-нибудь, было бы финансирование.

Но в целом, объясните кто-нибудь, зачем такая цепочка и что получается результате каждого преобразования?
Source->ETL->DWH : ?
DWH->Stage : ?
Stage->DWH(ODS) : ?
DWH(ODS)->DWH(Analyst) : ?
DWH(Analyst)->OLAP/Reporting : чистые подготовленные данные для получения отчетности.

Не троллинг - задачи и подходы разные бывают, так что буду признателен.

С Уважением,
Георгий

Ivan Durak - ну, а я думал что-то новое изобрели.