|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
Есть ли необходимость в реляционном КХД (которое по Кимбаллу) в случае использования Data lake gen2? Не уходят ли выделенный ETL+Staging+Relation DWH+OLAP в прошлое как лишние промежуточные звенья между озером и BI? ведь можно в озере подготовить данные и сразу из него читать данные в PowerBI без промежуточных звеньев. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2021, 19:14 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
ETL+Staging очень условно. На самом деле чаще всего это один пункт и процесс. Без него не обойтись вне зависимости от использования новомодных терминов типа "облако", "озеро", "хадуп" и прочих умных слов. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2021, 10:41 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
Charles Weyland Есть ли необходимость в реляционном КХД (которое по Кимбаллу) в случае использования Data lake gen2? Не уходят ли выделенный ETL+Staging+Relation DWH+OLAP в прошлое как лишние промежуточные звенья между озером и BI? ведь можно в озере подготовить данные и сразу из него читать данные в PowerBI без промежуточных звеньев. powerbi толком не умеет читать с adls, в том числе и с gen2. только режим "импорт". т.е. по расписанию и соответственно лимит 10G. есть вероятность, что лишние звенья в азуре может датабрикс убрать. он читает с adls gen2 и в рекламе утверждает, что его photon быстр на столько, что далее может идти BI. еще вариант HDInsight spark/hive кластер, с них powerbi тоже может direct query, но голый спарк и hive не самые шустрые штуки на планете ... у датабрикса шансов поболее. это если не брать во внимание мутанта synapse, там по моему собраны все минусы бигдаты за деньги полноценной рдбмс. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.11.2021, 21:29 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
H5N1 это если не брать во внимание мутанта synapse, там по моему собраны все минусы бигдаты за деньги полноценной рдбмс. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2021, 10:18 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
George Nordic H5N1 это если не брать во внимание мутанта synapse, там по моему собраны все минусы бигдаты за деньги полноценной рдбмс. не знаю, майкрософт агрессивно synapse рекламирует, но вокруг меня как то больше слышно о спарке/хадупах в связке с вертикой и гринплум. в последние пару лет много разговоров о databricks и snowflake, но реальных адаптаций не особо, восновном слышно какая-то мелочь вспомогательная, а не ядро ХД. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.11.2021, 11:16 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
H5N1 George Nordic пропущено... А что она тогда так популярна? Типа, грузим все в Data lake gen2, а оттуда значимые данные в Synapse, а сверху PBI? не знаю, майкрософт агрессивно synapse рекламирует, но вокруг меня как то больше слышно о спарке/хадупах в связке с вертикой и гринплум. в последние пару лет много разговоров о databricks и snowflake, но реальных адаптаций не особо, восновном слышно какая-то мелочь вспомогательная, а не ядро ХД. у меня полно проектов на сноуфлейке как ядро ХД. Все огонь. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2021, 00:30 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
Charles Weyland Есть ли необходимость в реляционном КХД (которое по Кимбаллу) в случае использования Data lake gen2? Не уходят ли выделенный ETL+Staging+Relation DWH+OLAP в прошлое как лишние промежуточные звенья между озером и BI? ведь можно в озере подготовить данные и сразу из него читать данные в PowerBI без промежуточных звеньев. OLAP точно уходит (точнее уже давно ушел) в прошлое. А вот реляционные DWH живее всех живых, сноуфлейк, редшифт, бигквери и даже простигоспади синапсы цветут и пахнут, ибо если аналитики многие гигабайты - умрешь внутрь BI запихивать, а directquery на файлики в далатейке - так себе . ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2021, 00:34 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
H5N1 George Nordic пропущено... А что она тогда так популярна? Типа, грузим все в Data lake gen2, а оттуда значимые данные в Synapse, а сверху PBI? не знаю, майкрософт агрессивно synapse рекламирует, но вокруг меня как то больше слышно о спарке/хадупах в связке с вертикой и гринплум. . они еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла ... |
|||
:
Нравится:
Не нравится:
|
|||
26.11.2021, 00:36 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
авторони еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла Копроэкономика. Чем-то напоминает "эволюцию" зубных щеток из 2000х. И массажные усики добавляли и поворотную головку и высокотехнологичные волоски. И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки. Возможно так будет и в ИТ. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2021, 11:27 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
Ivan Durak они еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла судя по чатикам не просто живы, но и растут. у нас вот вертика после хадупа отлично стоит, гринплум похоже в РФ просто семимильными шагами растет, т.к. облака приличные закрыты. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2021, 14:07 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
ну рф это локальная песочница для бедных ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2021, 16:48 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
L_argo авторони еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла И массажные усики добавляли и поворотную головку и высокотехнологичные волоски. И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки. Возможно так будет и в ИТ. хайп прошел - и все оказались в облаках, ораклы и ко уже почти умер, олап базы тоже, etl тоже помирает... ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2021, 16:53 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
Ivan Durak L_argo пропущено... Копроэкономика. Чем-то напоминает "эволюцию" зубных щеток из 2000х. И массажные усики добавляли и поворотную головку и высокотехнологичные волоски. И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки. Возможно так будет и в ИТ. хайп прошел - и все оказались в облаках, ораклы и ко уже почти умер, олап базы тоже, etl тоже помирает... И ведь даже не спросишь Ivan Durak, ты дурак? Или это троллинг такого уровня, что мне постичь - тогда, супер ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2021, 20:03 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
Ivan Durak L_argo пропущено... Копроэкономика. Чем-то напоминает "эволюцию" зубных щеток из 2000х. И массажные усики добавляли и поворотную головку и высокотехнологичные волоски. И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки. Возможно так будет и в ИТ. хайп прошел - и все оказались в облаках, ораклы и ко уже почти умер, олап базы тоже, etl тоже помирает... ты вроде вумным был ... |
|||
:
Нравится:
Не нравится:
|
|||
29.11.2021, 23:45 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
я тут почитал всё описанное выше, хочу подвести итог: всё умерло. Потом ушло в облака, но и там тоже умерло. Табулярные кубы родились, 5 лет помирали и умерли. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.12.2021, 11:50 |
|
Современные шаблоны облачных архитектур DWH
|
|||
---|---|---|---|
#18+
Charles Weyland я тут почитал всё описанное выше, хочу подвести итог: всё умерло. Потом ушло в облака, но и там тоже умерло. Табулярные кубы родились, 5 лет помирали и умерли. плохо читал. В облаках сейчас живее всех живых файлопомойки даталейки аля S3 и подобных. Плюс облачные аналитические реляционки аля redshift и snowflake и подобных. Плюс всякие датабриксы со спарками. p.s. Я про рынок США и в целом мировой. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.12.2021, 15:34 |
|
|
start [/forum/topic.php?fid=33&tid=1547048]: |
0ms |
get settings: |
4ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
30ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
276ms |
get tp. blocked users: |
1ms |
others: | 405ms |
total: | 730ms |
0 / 0 |