Отправил случайно

Evolex_На текущий момент dwa нацелены на Data Vault и некоторые новые средства даже не имеют возможности создавать обычные хранилища. Есть opensource решения. Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.



Я занимаюсь DWH 10 и скажу одно и пробовал уже даже не Data Vault, а Anchor Model. Сгенерить несколько сотен таблиц и пакетов загрузки не есть сложная задача. Самая сложная задача -- это дополнять и менять их. Никому не интересно слышать о DROP CREATE

Допустим добавить парочку новых показателей или несколько аттрибутов в справочники. Это возможно?
А как насчет того, чтобы сменить бизнес ключ с INT на BIGINT на таблице в 1 лярд строк не перегружая её, где ALTER TABLE ляжет?

Полковник.a_voronin,

Коллега, вижу что вы не постигли мудрости анкера или дата вольта. Таблицы там не меняются, никаких альтер тейблов, они так и остаются жить вечно, рядом с ними просто создаются новые, а старые исключают из загрузки.


Я-то как раз постиг их мудрость, и не раз наращивал хранилище без удаление старых данных. А спрашивал я про способности системы, которую продвигает автор.

Полковник.a_voronin,

Коллега, вижу что вы не постигли мудрости анкера или дата вольта. Таблицы там не меняются, никаких альтер тейблов, они так и остаются жить вечно, рядом с ними просто создаются новые, а старые исключают из загрузки.

Я скажу больше, Товарищ Полковник, если я правильно понял, кто -- Вы, то я довел до ума проект от которого Вы отказались.

Evolex_a_voronin,

Я про это писал )))
Мне кажется вы не правильно понимаете ситуацию
на вопросы про то как что именно работает мне отвечать не очень интересно ))) у меня была своя цель - что надо мне было я получил )))

в качестве жеста доброй воли что-то даже пообсуждал ))) и после выражения заинтересованности участников форума предложил, даже, организовать демонстрацию для ответов на вопросы ))) насколько я понимаю кто хоть что-то понял про DWA из этой темы уже втихую этим начали заниматься ))) я даже удивляюсь как в тихую и как оперативно люди задвигались - из разных источников информация приходит ))))))

одна из гипотез почему все так втихую - если официально открыто заявлять о рассмотрении DWA может быть выдворена вся команда которая получала большие деньги за ручную работу, для автоматизации которой уже годы существует целый рынок ))) части стейкхолдеров (особенно ангажированных с исполнителем) такое развитие событий тоже неинтересно ))) но процесс пошел ))) и рано или поздно DWA придет и люди это понимают и обеспечивают плавный незаметный процесс перехода ))))) формулировки и обоснования при этом процессе, веротяно (раньше видел), это тот еще эпистолярный жанр типа "времена меняются, необходимости не было, были другие люди и т.д." ))))

С готовыми DWA проблема следующая. Рано или поздно возникает нестандартная задача и если вы не имеете доступа к его коду, то не можете этот кастомный вопрос решить и начинают возникать жуткие костыли.

Что-то не решается через SCD2 или версионированные исторические/темпоральные таблицы. И возникает понимание того, что это быстрее написать самомму, чем настраивать этот суперинструмент.

tunknowna_voroninИ возникает понимание того, что это быстрее написать самомму, чем настраивать этот суперинструмент.Вы понимаете, что такими заявлениями подрываете всю индустрию. А если молодёжь услышит? Сарказм/Офф


Я так заявляю, потому что наша команда по факту выиграла конкуренцию с альтернативным решением на DWA инструменте, который как раз не позволял гибко настраивать показатели под потребности бизнеса.

И да пусть молодежь слышит. И да пусть индустрия впаривания коробочных DWA будет подорвана. И да будут славны те, умеет писать OVER PARTITION BY ROWS UNBOUNDED PRECEDING. И да будут унижены те, кто скрывает свою нелюбовь к базам за Code First коробочных приблуб и бояться заглянуть в базу.

Evolex_Я без крайней необходимости не отвечаю на заявления о том что кто-то что-то сделает сам и лучше чем сделали в коммерческом приложении - ни разу не видел чтобы что-то не смешное после этого появлялось ))))))

А я вот не видел, чтобы в коммерческом приложении что-то путное было сделано, кроме болтовни и траты денег.

Evolex_a_voronin,

Кстати, с чем именно у вас связаны эмоции которые вы выражаете печатая
OVER PARTITION BY ROWS UNBOUNDED PRECEDING

С тем, что гигансткие проекты по кодированию связаны с неспособностью некоторых разработчиков решить задачу одним правильным запросом.

Evolex_a_voronin,

Какой именно DWA инструмент вы забороли? ))))

SAP HANA

Evolex_a_voronin,

Какой именно DWA инструмент вы забороли? ))))

Скорее всего речь шла вот об этом. https://en.wikipedia.org/wiki/SAP_NetWeaver_Business_Warehouse

Мы разрабатывали на линейке MS SQL 2014 SSAS SSIS SSRS потом добавилась Вертика . Мы не гнушались писать CREATE TABLE руками, но и утилиты я лично писал по генерации кода.

alexdrEvolex_...кто-то что-то сделает сам и лучше чем сделали в коммерческом приложении - ни разу не видел чтобы что-то не смешное после этого появлялось...
Довольно смелое и безответственное утверждения. "Я не видел" - вообще не аргумент. Свидетельствует исключительно об узости кругозора и скудости опыта.
И да... все шедевры data warehousing были созданы исключительно с помощью DWA, а Kimball, Inmon и иже с ними стоят и нервно курят в сторонке.
Ну, да... ну, да...

Шедевры? Список можно

И если это и били шедевры, то оно были основаны на Kimball, Inmon, Data Vault, Anchor Model

Сходите в Авито на лекцию по якорной модели -- туда иногда приглашают