С удивлением обнаружил, что поиск по форуму olap/dwh строки DWA возвращает 0 результатов )))
Надо испрвалять ситуацию ))

DWA DWA DWA ))

Вообще удивляет, что многие так усердно "пилят" велосипеды DWH с нуля в то время как на западе (+ Австралия почему-то очень активна в этом) на серьезных проектах довольно популярны Data Warehouse Automation средства.

Что это такое и текущие средства на рынке неплохо описаны здесь:
https://www.datawarehouseautomation.guide/what-is-datawarehouse-automation

На западе тоже немало напиленных вручую dwh и в этом черты совпадают - обычно на таких проектах очень смутная документация, которая довольна сильно устарела и у меня есть подозрение что в этом и смысл )))) - это позволяет выделять бюджеты на сравнимые по непрозрачности работы )))

На текущий момент dwa нацелены на Data Vault и некоторые новые средства даже не имеют возможности создавать обычные хранилища. Есть opensource решения. Я лично для POC использовал dimodelo - обычно люди в шоке когда видят как на их глазах выбираются типы атрибутов scd1 scd2 нажимается кнопка развернуть и генерируется 3х уровневое хранилище с persistence layer и сразу опимизированным кодом для pdw/azure.

Есть идеи кроме особенностей классических российских продаж почему у нас не слышно об этом? )))

sergeyavdovin.ru

Evolex_,

Во, уже лучше - поиск по dwa возвращает что-то теперь )))

Один из основных плюсов в том что это не велосипед без документации а продукт с документацией и поддержкой ))) - пользуйтесь )))) поиск ответов на первые вопросы можно начать с просмотра видео )))

https://www.youtube.com/channel/UCheAIMVZCMh7e62ROp_nWlg

Одна из самых прикольных картинок работы этого средства - выбор технологии для трансформации и загрузки данных после извлечения )))))) генерируются либо SSIS либо SQL (для 2017 SSIS не работают вроде - только стейджинг, сам пробовал только SQL)

Да, кстати, это для многих, как я понимаю, может быть сюрпризом - что SSIS, вероятно, не лучшее средство для трансформаций и загрузки в DWH ))))) хотя, некоторые, вообще питоном трансформации SQL->SQL делают ))))))))))

Детали про трансформации я тут описывал в документации к POC ))))
http://sergeyavdovin.com/contents/resume/AdventureWorksDWHandReportingSolutionHROverview.pdf

P.S. На текущий момент работу не ищу - мне интересно обсудить ))))

Бумбараш,

Не надо гнать на Вроцлав и Австралию, и в Вроцлаве и в Австралии все хорошо и компании крупные есть ))))) надо пробовать информацию искать ))))))

Ну понятно же что по всему миру DWA используются и посикать можно
https://www.wherescape.com/customers/
я вот такие заявления и называю "особенностями Российских продаж"

vikkiv,

Наскольбко я понял сравниваются инвестиции в свою собственную разработку и в DWA на рынке.

1. В рассуждениях проигнорировано наличие opensouce средств, даже dimodelo, кстати, можно открутить от родного планировщика (что я и делал) - про зависимость не совсем корректно.

2. Насколько я понял общая позиция даже не про DWA а в целом - что можно все сделать самим - любое ПО - не нашел особенностей data-warehousing в тексте

3. Про подкручивание это видимо про то что отзывы клиентов на сайте про кратное увеличение производительности - вранье ))) на западе к вранью аккуратнее относятся в среднем, кстати ))) по себе не судите ))))

Бумбараш,
авторVS может конкурировать с промышленными лидерами ETL
DWA используют эти средства ETL - тут вроде не конкуренция.

vikkiv,

BIML тоже никаких эмоций не вызыывет? ) От тех же ребят тоже есть DWA отдельное.

Откуда взялась вообеще оценка про мелких? )))

Относительно полный список тут:
https://www.datawarehouseautomation.guide/dwa-tools/

StarikNavy,

Это ваша личная жизненная позиция, я к ней отношения не имею )))))

Ivan Durak,

Все правильно, еще один уровень абстракции - ничего плохого в таком утверждении нет, вроде.
Название того DWA это тайна какая-то? ))
Я насколько понимаю, все относительно крупные проекты так или иначе делают DWA. Разница в том чтобы делать велосипед - например, с использованием того же BIML
BIML/MIST - как задать версии .NET и C#?
или взять готовое средство с историей.

На текущий момент ваше утверждение о том что TCO велосипеда "абсолютно" такое же как и у готового DWA противопоставляется заявлениям DWA производителей о кратном уменьшении расходов. И за рубежом к вранью в среднем гораздо аккуратнее относятся, особенно к публичному - не очень у вас сильная позиция с этим заявлением, мне кажется.

Ivan Durak,

авторЗаявления производителей это просто отдельный жанр искусства, это не надо объяснять любому кто много лет теме.
Ну то есть у вас позиция что неиспользование DWA логично и они нас хотят ввести в заблуждение маркетингом, но мы не сдадимся - вроде так получается.
Кстати, довольно свежее введение (и рекомендация) в DWA от микрософта:
Accelerate your cloud data warehouse with automation tools

авторЧем больше уровней абстракции - тем сложнее понимание процессов, и тем дольше выполняются действия чуть сложнее чем стандартные.
И они настолько уже нас не уважают что заявляют полностью противоположные эффекты тем что происходят в реальности после внедрения DWA средства - то есть пишут accelerate ( Accelerate your cloud data warehouse with automation tools ) а реально все полностью наоборот - сложнее и понимание и процессы замедляются.


авторLawson BPW
Надо будет посомтреть - интересно, почему его в списке нет
https://www.datawarehouseautomation.guide/dwa-tools/

С тем что людям, у которых есть FVMas DWA не нужно я сразу и безоговорочно соглашаюсь - на всякий случай надо это написать )))

tarrus,

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?

tarrus,
автор Я не поддерживаю
Вы вообще против всех? И единомышленников не поддерживаете и против DWA?

автор a документация
Документация (для примера) это одна из областей, которые автоматизируются средствами DWA. (О Dimodelo, я, кстати, узнал много лет назад, когда использовал их средство документации SSAS https://www.dimodelo.com/ssas-document-doc-generator - документация это одна из ключевых областей для автоматизации в целом).

В ссылках выше эта информация есть. Например в обзоре MS https://azure.microsoft.com/en-us/blog/accelerate-your-cloud-data-warehouse-with-automation-tools/ (в описаниях производителей эту информацию так же можно найти):

DWA tools provide more than just ETL automation, they automate the complete life cycle of a data warehouse solution, from analysis, design, and implementation to documentation, monitoring and maintenance.

Другая проблема, которую решает DWA это управление метаданными (Metadata Management). Причем в этом случае даже недостатки ETL средств частично нивелируются и выбор в пользу informatica, по моему мнению, становится не таким очевидным - метаданные хранятся на более высоком уровне централизованно изначально. Так gartner много лет подряд писал в Magic Quadrant for Business Intelligence Platforms о недостатках MS (сейчас не пишет, наверное, потому что исходный квадрант переименовали и есть отдельный квадрант и MS там вообще нет Magic Quadrant for Metadata Management Solutions):
There is no single, enterprise, business, metadata layer or capability across Microsoft's BI platform components. Each has its own metadata model, which could translate into higher development maintenance costs should an organization need more integrated and sophisticated metadata functionality for modeling, impact/lineage and change management.
И это одна из самых сильных особенностей Informatica, кстати, которая при использовании DWA становится менее значимой.

tarrus,
Про каменный век я, вроде, не говорил. Не надо за меня додумывать )))) Ваша позиция, способы аргументации и методы работы с DWH мне лично понятны, спасибо.

tarrus,

Я же там даже конкретное предположение написал в конце почему так происходит ))) про высоко это полностью ваши выдумки )))
Ваши подходы к аргументации и работе с информацией мне понятны.

tarrus,

То есть вы говорите что не используете dwa из-за того что ответы на эти пункты вас не удовлетворяют - я не против, ладно )))

Alex_496,

Да нее ))) мне было интересно почему в России не используется )))) и я как раз предположил что из-за того что можно бабла побольше срубить когда меньше прозрачности в работах )))) То есть вы вроде эти подтверждаете )))

Никогда не работал в автодилере ну ладно.

Подытожить на текущий момент:

BI Developer + vik + ivan + tarrus: нет и не надо (вообще не надо)

Бумбарш + jurii: нет и не надо, мы давно в перед и без рынка готовых dwa

Я + Alexxx : не выгодно тем кто зарабатывает на внедрении решений

tarrus,

Да приводил я пример - описание POC решения end-to-end выше, хорош загоняться уже, усваиваешь 30% информации с первого раза и не стесняешься еще.

tarrus,

Дак ты вроде и сейчас против всех )))) - там Иван тебе не понравился, у которого такая же позиия была, сейчас отнесение к группе не понравилось )))

tarrusEvolex_tarrus,

Вы то есть поддерживаете Ивана в идее что то что пишут про DWA про кратное увеличение производительности это происки маркетологов?

Я не поддерживаю, я уже сталкивался с подобными историями. DWA такой же программный продукт как и остальные. Все смотрят на время создания самих пакетов и процедур выгрузки и загрузки. Ну да быстро, спору нет. А документация, а поддержа, а доработки, а нестандартные сценарии, обучение девелоперов?

Вот этот )) времени много, хорош смешить ))) на ночь нельзя много смеяться ))))

tarrus,

А чего тогда пишешь авторЯ не поддерживаю? ))))

tarrus,
Итак, от тебя прозвучали все 3 варианта по этому вопросу
авторИван сказал дельные вещи
авторНе поддерживаю (Ивана)
авторНейтральное отношение
Надо определяться, мне кажется )))

tarrus,
И у меня есть ощущение, что ты меня решил добить после того как я сказал что на ночь нельзя много смеяться ))))