С удивлением обнаружил, что поиск по форуму olap/dwh строки DWA возвращает 0 результатов )))
Надо испрвалять ситуацию ))

DWA DWA DWA ))

Вообще удивляет, что многие так усердно "пилят" велосипеды DWH с нуля в то время как на западе (+ Австралия почему-то очень активна в этом) на серьезных проектах довольно популярны Data Warehouse Automation средства.

Что это такое и текущие средства на рынке неплохо описаны здесь:
https://www.datawarehouseautomation.guide/what-is-datawarehouse-automation

На западе тоже немало напиленных вручую dwh и в этом черты совпадают - обычно на таких проектах очень смутная документация, которая довольна сильно устарела и у меня есть подозрение что в этом и смысл )))) - это позволяет выделять бюджеты на сравнимые по непрозрачности работы )))

На текущий момент dwa нацелены на Data Vault и некоторые новые средства даже не имеют возможности создавать обычные хранилища. Есть opensource решения. Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

Есть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? )))

sergeyavdovin.ru

Evolex_,

Во, уже лучше - поиск по dwa возвращает что-то теперь )))

Один из основных плюсов в том что это не велосипед без документации а продукт с документацией и поддержкой ))) - пользуйтесь )))) поиск ответов на первые вопросы можно начать с просмотра видео )))

https://www.youtube.com/channel/UCheAIMVZCMh7e62ROp_nWlg

Одна из самых прикольных картинок работы этого средства - выбор технологии для трансформации и загрузки данных после извлечения )))))) генерируются либо SSIS либо SQL (для 2017 SSIS не работают вроде - только стейджинг, сам пробовал только SQL)

Да, кстати, это для многих, как я понимаю, может быть сюрпризом - что SSIS, вероятно, не лучшее средство для трансформаций и загрузки в DWH ))))) хотя, некоторые, вообще питоном трансформации SQL->SQL делают ))))))))))

Детали про трансформации я тут описывал в документации к POC ))))
http://sergeyavdovin.com/contents/resume/AdventureWorksDWHandReportingSolutionHROverview.pdf

P.S. На текущий момент работу не ищу - мне интересно обсудить ))))

Бумбараш,

Не надо гнать на Вроцлав и Австралию, и в Вроцлаве и в Австралии все хорошо и компании крупные есть ))))) надо пробовать информацию искать ))))))

Ну понятно же что по всему миру DWA используются и посикать можно
https://www.wherescape.com/customers/
я вот такие заявления и называю "особенностями Российских продаж"

vikkiv,

Наскольбко я понял сравниваются инвестиции в свою собственную разработку и в DWA на рынке.

1. В рассуждениях проигнорировано наличие opensouce средств, даже dimodelo, кстати, можно открутить от родного планировщика (что я и делал) - про зависимость не совсем корректно.

2. Насколько я понял общая позиция даже не про DWA а в целом - что можно все сделать самим - любое ПО - не нашел особенностей data-warehousing в тексте

3. Про подкручивание это видимо про то что отзывы клиентов на сайте про кратное увеличение производительности - вранье ))) на западе к вранью аккуратнее относятся в среднем, кстати ))) по себе не судите ))))

Бумбараш,
авторVS может конкурировать с промышленными лидерами ETL
DWA используют эти средства ETL - тут вроде не конкуренция.

vikkiv,

BIML тоже никаких эмоций не вызыывет? ) От тех же ребят тоже есть DWA отдельное.

Откуда взялась вообеще оценка про мелких? )))

Относительно полный список тут:
https://www.datawarehouseautomation.guide/dwa-tools/

StarikNavy,

Это ваша личная жизненная позиция, я к ней отношения не имею )))))

Ivan Durak,

Все правильно, еще один уровень абстракции - ничего плохого в таком утверждении нет, вроде.
Название того DWA это тайна какая-то? ))
Я насколько понимаю, все относительно крупные проекты так или иначе делают DWA. Разница в том чтобы делать велосипед - например, с использованием того же BIML
BIML/MIST - как задать версии .NET и C#?
или взять готовое средство с историей.

На текущий момент ваше утверждение о том что TCO велосипеда "абсолютно" такое же как и у готового DWA противопоставляется заявлениям DWA производителей о кратном уменьшении расходов. И за рубежом к вранью в среднем гораздо аккуратнее относятся, особенно к публичному - не очень у вас сильная позиция с этим заявлением, мне кажется.

Ivan Durak,

авторЗаявления производителей это просто отдельный жанр искусства, это не надо объяснять любому кто много лет теме.
Ну то есть у вас позиция что неиспользование DWA логично и они нас хотят ввести в заблуждение маркетингом, но мы не сдадимся - вроде так получается.
Кстати, довольно свежее введение (и рекомендация) в DWA от микрософта:
Accelerate your cloud data warehouse with automation tools

авторЧем больше уровней абстракции - тем сложнее понимание процессов, и тем дольше выполняются действия чуть сложнее чем стандартные.
И они настолько уже нас не уважают что заявляют полностью противоположные эффекты тем что происходят в реальности после внедрения DWA средства - то есть пишут accelerate ( Accelerate your cloud data warehouse with automation tools ) а реально все полностью наоборот - сложнее и понимание и процессы замедляются.


авторLawson BPW
Надо будет посомтреть - интересно, почему его в списке нет
https://www.datawarehouseautomation.guide/dwa-tools/

С тем что людям, у которых есть FVMas DWA не нужно я сразу и безоговорочно соглашаюсь - на всякий случай надо это написать )))