Гость
Map
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Современные шаблоны облачных архитектур DWH / 16 сообщений из 16, страница 1 из 1
07.11.2021, 19:14
    #40109843
Charles Weyland
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
Есть ли необходимость в реляционном КХД (которое по Кимбаллу) в случае использования Data lake gen2? Не уходят ли выделенный ETL+Staging+Relation DWH+OLAP в прошлое как лишние промежуточные звенья между озером и BI? ведь можно в озере подготовить данные и сразу из него читать данные в PowerBI без промежуточных звеньев.
...
Рейтинг: 0 / 0
08.11.2021, 10:41
    #40109948
L_argo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
ETL+Staging очень условно. На самом деле чаще всего это один пункт и процесс.
Без него не обойтись вне зависимости от использования новомодных терминов типа "облако", "озеро", "хадуп" и прочих умных слов.
...
Рейтинг: 0 / 0
08.11.2021, 21:29
    #40110137
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
Charles Weyland
Есть ли необходимость в реляционном КХД (которое по Кимбаллу) в случае использования Data lake gen2? Не уходят ли выделенный ETL+Staging+Relation DWH+OLAP в прошлое как лишние промежуточные звенья между озером и BI? ведь можно в озере подготовить данные и сразу из него читать данные в PowerBI без промежуточных звеньев.

powerbi толком не умеет читать с adls, в том числе и с gen2. только режим "импорт". т.е. по расписанию и соответственно лимит 10G. есть вероятность, что лишние звенья в азуре может датабрикс убрать. он читает с adls gen2 и в рекламе утверждает, что его photon быстр на столько, что далее может идти BI.
еще вариант HDInsight spark/hive кластер, с них powerbi тоже может direct query, но голый спарк и hive не самые шустрые штуки на планете ... у датабрикса шансов поболее.
это если не брать во внимание мутанта synapse, там по моему собраны все минусы бигдаты за деньги полноценной рдбмс.
...
Рейтинг: 0 / 0
10.11.2021, 10:18
    #40110563
George Nordic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
H5N1
это если не брать во внимание мутанта synapse, там по моему собраны все минусы бигдаты за деньги полноценной рдбмс.
А что она тогда так популярна? Типа, грузим все в Data lake gen2, а оттуда значимые данные в Synapse, а сверху PBI?

С Уважением,
Георгий
...
Рейтинг: 0 / 0
10.11.2021, 11:16
    #40110596
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
George Nordic
H5N1
это если не брать во внимание мутанта synapse, там по моему собраны все минусы бигдаты за деньги полноценной рдбмс.
А что она тогда так популярна? Типа, грузим все в Data lake gen2, а оттуда значимые данные в Synapse, а сверху PBI?

не знаю, майкрософт агрессивно synapse рекламирует, но вокруг меня как то больше слышно о спарке/хадупах в связке с вертикой и гринплум. в последние пару лет много разговоров о databricks и snowflake, но реальных адаптаций не особо, восновном слышно какая-то мелочь вспомогательная, а не ядро ХД.
...
Рейтинг: 0 / 0
26.11.2021, 00:30
    #40115058
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
H5N1
George Nordic
пропущено...
А что она тогда так популярна? Типа, грузим все в Data lake gen2, а оттуда значимые данные в Synapse, а сверху PBI?

не знаю, майкрософт агрессивно synapse рекламирует, но вокруг меня как то больше слышно о спарке/хадупах в связке с вертикой и гринплум. в последние пару лет много разговоров о databricks и snowflake, но реальных адаптаций не особо, восновном слышно какая-то мелочь вспомогательная, а не ядро ХД.

у меня полно проектов на сноуфлейке как ядро ХД. Все огонь.
...
Рейтинг: 0 / 0
26.11.2021, 00:34
    #40115059
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
Charles Weyland
Есть ли необходимость в реляционном КХД (которое по Кимбаллу) в случае использования Data lake gen2? Не уходят ли выделенный ETL+Staging+Relation DWH+OLAP в прошлое как лишние промежуточные звенья между озером и BI? ведь можно в озере подготовить данные и сразу из него читать данные в PowerBI без промежуточных звеньев.

OLAP точно уходит (точнее уже давно ушел) в прошлое. А вот реляционные DWH живее всех живых, сноуфлейк, редшифт, бигквери и даже простигоспади синапсы цветут и пахнут, ибо если аналитики многие гигабайты - умрешь внутрь BI запихивать, а directquery на файлики в далатейке - так себе .
...
Рейтинг: 0 / 0
26.11.2021, 00:36
    #40115060
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
H5N1
George Nordic
пропущено...
А что она тогда так популярна? Типа, грузим все в Data lake gen2, а оттуда значимые данные в Synapse, а сверху PBI?

не знаю, майкрософт агрессивно synapse рекламирует, но вокруг меня как то больше слышно о спарке/хадупах в связке с вертикой и гринплум. .

они еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла
...
Рейтинг: 0 / 0
29.11.2021, 11:27
    #40115822
L_argo
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
авторони еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла Копроэкономика. Чем-то напоминает "эволюцию" зубных щеток из 2000х.
И массажные усики добавляли и поворотную головку и высокотехнологичные волоски.
И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки.
Возможно так будет и в ИТ.
...
Рейтинг: 0 / 0
29.11.2021, 14:07
    #40115883
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
Ivan Durak

они еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла

судя по чатикам не просто живы, но и растут. у нас вот вертика после хадупа отлично стоит, гринплум похоже в РФ просто семимильными шагами растет, т.к. облака приличные закрыты.
...
Рейтинг: 0 / 0
29.11.2021, 16:48
    #40115934
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
ну рф это локальная песочница для бедных
...
Рейтинг: 0 / 0
29.11.2021, 16:53
    #40115935
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
L_argo
авторони еще живы?? я про вертику и гринплум..... ну это не на долго... уже и террадата в забвение ушла
Копроэкономика. Чем-то напоминает "эволюцию" зубных щеток из 2000х.
И массажные усики добавляли и поворотную головку и высокотехнологичные волоски.
И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки.
Возможно так будет и в ИТ.
хайп прошел - и все оказались в облаках, ораклы и ко уже почти умер, олап базы тоже, etl тоже помирает...
...
Рейтинг: 0 / 0
29.11.2021, 20:03
    #40115973
ASNexus
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
Ivan Durak
L_argo
пропущено...
Копроэкономика. Чем-то напоминает "эволюцию" зубных щеток из 2000х.
И массажные усики добавляли и поворотную головку и высокотехнологичные волоски.
И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки.
Возможно так будет и в ИТ.

хайп прошел - и все оказались в облаках, ораклы и ко уже почти умер, олап базы тоже, etl тоже помирает...

И ведь даже не спросишь Ivan Durak, ты дурак?
Или это троллинг такого уровня, что мне постичь - тогда, супер
...
Рейтинг: 0 / 0
29.11.2021, 23:45
    #40116022
ViPRos
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
Ivan Durak
L_argo
пропущено...
Копроэкономика. Чем-то напоминает "эволюцию" зубных щеток из 2000х.
И массажные усики добавляли и поворотную головку и высокотехнологичные волоски.
И чем все закончилось ? Хайп прошел. В продаже опять обычные щетки.
Возможно так будет и в ИТ.

хайп прошел - и все оказались в облаках, ораклы и ко уже почти умер, олап базы тоже, etl тоже помирает...

ты вроде вумным был
...
Рейтинг: 0 / 0
01.12.2021, 11:50
    #40116411
Charles Weyland
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
я тут почитал всё описанное выше, хочу подвести итог:

всё умерло. Потом ушло в облака, но и там тоже умерло.


Табулярные кубы родились, 5 лет помирали и умерли.
...
Рейтинг: 0 / 0
02.12.2021, 15:34
    #40116741
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Современные шаблоны облачных архитектур DWH
Charles Weyland
я тут почитал всё описанное выше, хочу подвести итог:

всё умерло. Потом ушло в облака, но и там тоже умерло.


Табулярные кубы родились, 5 лет помирали и умерли.

плохо читал. В облаках сейчас живее всех живых файлопомойки даталейки аля S3 и подобных. Плюс облачные аналитические
реляционки аля redshift и snowflake и подобных. Плюс всякие датабриксы со спарками.
p.s. Я про рынок США и в целом мировой.
...
Рейтинг: 0 / 0
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Современные шаблоны облачных архитектур DWH / 16 сообщений из 16, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]