|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
В продолжение темы про МРР , но с точки зрения практического применения. Да, подобные технологии есть, но кому и зачем они нужны? Зачем держать "горячие" данные с возможностью быстрой выборки? Более того, зачастую необходимо еще и поддерживать их в актуальном состоянии, что требует постоянной подкачки актуальных данных (CDC, а это тоже недешевые технологии). Имхо, оптимальное применение подобных систем - это многофакторная оптимизация с целью формирования оптимального предложения Заказчику: Что приходит в голову:
С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2020, 10:26 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic, имхо mpp в связке с data lake достаточно популярны. у всяких аля hadoop и data lake систем есть типа SQL engine типа hive, impala и прочие, но они нифига не годятся под интерактивную отчетность. потому data lake строит какие-то витрины и закидывает в mpp базу, которая уже не столь быстро сдохнет под запросами от отчетной системы. у нас hadoop + vertica + sap bo юзают, bo долбит реалтайм запросами именно vertica. еще есть qlick sense, но я понял, что у наших не получилось его приготовить. не то дорого по лицензиям вышло, не то сложности перекачивать тучи данных в его хитрый формат. я еще для себя смотрел power bi + azure data lake gen2 - там совсем шляпа. power bi ничерта кроме txt, xml, json с adls считать не может и PRO редакция ограничивает 8 раз рефреш датасоурса. т.е. и тут намек что устраивая data lake на adsl, для отчетов надо будет в mpp mssql засовывать ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2020, 14:10 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
H5N1 George Nordic, я еще для себя смотрел power bi + azure data lake gen2 - там совсем шляпа. power bi ничерта кроме txt, xml, json с adls считать не может и PRO редакция ограничивает 8 раз рефреш датасоурса . т.е. и тут намек что устраивая data lake на adsl, для отчетов надо будет в mpp mssql засовывать есть способы через api обойти это - чтобы не подымать версию powerbi сам не делал - люди рядом - примеры в инете есть. по моему у нас была самая простейшая версия powerbi ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2020, 14:21 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic, Чистый mpp - это распределение нагрузки, задач, частей запросов по узлам. Терадата, например, широко используется в больших аналитических ХД. Oracle, когда понял, что вот вот его база данных встанет придумал экзадату, слышал что ХД ЦБ лепят на нем. И скорее всего тут основное требование не скорость, а об'ем обрабатываемых данных в одном аналитическом запросе. Пихать это везде на случай "а вдруг пригодится" очень дорого. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2020, 14:21 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
Гулин Федор есть способы через api обойти это - чтобы не подымать версию powerbi сам не делал - люди рядом - примеры в инете есть. по моему у нас была самая простейшая версия powerbi да, видел подобную статью, но в доках указан лимит 8 и для него: In Shared capacities this call is limited to eight times per day (including refreshes executed via Scheduled Refresh) https://docs.microsoft.com/en-us/rest/api/power-bi/datasets/refreshdataset если люди рядом, можете уточнить. речь об этом вызове? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2020, 14:26 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
H5N1 имхо mpp в связке с data lake достаточно популярны. H5N1 еще есть qlick sense, но я понял, что у наших не получилось его приготовить. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2020, 16:48 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic А QS это и есть ETL+MPP+Визуалка в одном флаконе, если уже есть Exasol/Vertika/GP etc то как бы масло масляное получается. Но могу попросить наших инженеров посмотреть, что там да как, пусть помогут. загрузите в QS терабайт 50-100 данных расскажите, как успехи ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2020, 18:39 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
Бумбараш загрузите в QS терабайт 50-100 данных.расскажите, как успехи Кстати, об этом и вопрос - а зачем вообще в MPP хранить "50-100 ТБ" данных? Ради прикола? Чем хранилище для этого не подходит? Что там такого надо на таком объеме, чтоб вот прямо все данные так срочно нужны? История с DL -> ADWH или ODS на МРР <-> гляделка, которая МРР терзает, ясна и понятна. Но что грузят в МРР, какие задачи при этом решают, кроме вышеуказанных? Есть ответы? С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2020, 09:14 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic, Если надо сджойнить за 3 года продажи по дням с остатками на складе по сотням торговых точек и сотням тысяч артикулов - MPP с таблицами с распределением по [дата, магазин, артикул] очень кстати (хотя и не рекомендуется пихать много полей в ключ распределения). Ну это так, пример сходу. Ну и Qlik это совсем точно не MPP, его ценность как хранилища вообще сомнительна, на мой взгляд - аналитики уже давно могут и любят в SQL, лазить по .qvd только одним доступным для этого инструментом им будет неинтересно. Ассоциативная модель ок, для загрузки и эксплоринга относительно небольших витрин конечно же удобно, дашбордов тоже настроить можно (но с этим и у Tableau всё в порядке), но завязываться на .qvd-хранилище в долгосрочной перспективе рискованно, а грузить витрины по 10+ Гб в .qvw для анализа - неповоротливо. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2020, 12:28 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic Кстати, об этом и вопрос - а зачем вообще в MPP хранить "50-100 ТБ" данных? Ради прикола? Чем хранилище для этого не подходит? MPP это и есть хранилище. В нём и хранят.. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2020, 12:56 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic QS - это BI, а не HDS. Какие оперативные выводы Вы собираетесь делать по 100 ТБ данных, можно полюбопытствовать? Данные нужны, как и в любом аналитическом хранилище, для аналитики.. Надеюсь, не сделал тут для вас каких-то неожиданных открытий.. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2020, 12:58 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
Alex.C но завязываться на .qvd-хранилище в долгосрочной перспективе рискованно, а грузить витрины по 10+ Гб в .qvw для анализа - неповоротливо. Пример продажи vc остатки ок: на МРР отработает быстрее. С другой стороны, ну, будет на DHW ночь крутиться, ничего страшного... Бумбараш Данные нужны, как и в любом аналитическом хранилище, для аналитики.. Надеюсь, не сделал тут для вас каких-то неожиданных открытий.. Просто хранить а МРР - весьма недешевое удовольствие. Поэтому хранить там желательно данные, анализ которых принесет бизнесу существенную выгоду по сравнению с затратами на их хранение. А тут оказывается, что народ DHW строит, а для решения каких конкретно задач - не задумывается. Ну, то есть для регуляторной отчетности МРР вряд ли нужна. Весьма странно. С Уважением, Георгий. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2020, 13:18 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic Да, есть такое подозрение. Но, опять, непонятно, для каких именно задач? Для указанных или что-то еще? ну у нас в data lake наверно 5-7 ТБ осмысленных корпоративных финансовых данных с кор систем, црм, бухгалтерий. восновном это реляционные какие были региональных оракловых dwh. а вот в вертике чуть более 1ТБ включая dev и test среды. т.е. в mpp у нас не полноценное хранилище, а лишь некоторые витрины под отчеты. продвинутый анализ и продвинутые пользователи в mpp базу и не ходят, у продвинутых все что надо в хадупе - hive, impala, R. George Nordic А QS это и есть ETL+MPP+Визуалка в одном флаконе, если уже есть Exasol/Vertika/GP etc то как бы масло масляное получается. Но могу попросить наших инженеров посмотреть, что там да как, пусть помогут. не, BI не наша зона, странно бы выглядело идти им помогать. кажется вспомнил еще одну причину крена в сторону SAP BO, в BO буд-то бы проще self bi делать. т.е они готовят модели, а неподготовленные пользователи сами накидывают себе колонки, рисуют отчет. с qlik sense как я понял у них так не получается и каждое изменение требует время от BI команды. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2020, 13:48 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic Аналитики ЧЕГО?? Аналитики ДАННЫХ. В аналитическом хранилище данных анализируют данные! ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2020, 16:39 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
Бумбараш Аналитики ДАННЫХ. В аналитическом хранилище данных анализируют данные! Бумбараш, вопрос-то не в этом. Вопрос в том, какие аналитические задачи, помимо указанных, они решают? Причем такие, что вот прям необходимо огромные массивы данных получать "на лету", что бы МРР под этим стояла. Буду благодарен за пример таких задач. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 10:10 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic, "На лету" это вы от себя добавили. Зачем "на лету"? Я бы сказал за приемлемое время, вместо нескольких суток - за пару часов такой об'ем данных сейчас не сложно найти. КХД Магнита несколько лет назад было на Терадате, это самая настоящая MPP. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 10:55 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic, интернет-реклама же ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 11:29 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic Бумбараш Аналитики ДАННЫХ. В аналитическом хранилище данных анализируют данные! Бумбараш, вопрос-то не в этом. Вопрос в том, какие аналитические задачи, помимо указанных, они решают? Причем такие, что вот прям необходимо огромные массивы данных получать "на лету", что бы МРР под этим стояла. Буду благодарен за пример таких задач. С Уважением, Георгий ну первичная аналитика любого вопроса когда аналитик заходит и не знает точно, что ему надо и что в конце получиться он сидит и запускает неделю кучу рандомных ад-хок запросов. Какие данные ему нужны он заранее не знает, ищет какие-то связи и зависимости между существующими. Ему могут понадобиться данные за текущий год. За предыдущий. Или за три года назад. это и есть аналитика заходим в статью дата варехаус https://en.wikipedia.org/wiki/Data_warehouse In computing, a data warehouse (DW or DWH), also known as an enterprise data warehouse (EDW), is a system used for reporting and data analysis тыкаем в ссылку data analysis https://en.wikipedia.org/wiki/Data_analysis и там написано много буков. Каждая из которых подходит для ответа на ваш вопрос. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 12:13 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
Ну и собственно вы в первом посте сами написали много задач про "на лету". Чего еще надо. Какой-то регуляторный репортинг да, можно делать по одной системе без хранилища. Но когда уже есть хранилище для других задач, то принято все результаты по данным получать из "одной дыры", чтобы они были одинаковыми. Поэтому репортинг переносят туда. Ну и его там обогатить проще из других систем, если надо будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 12:18 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
Критик интернет-реклама же Бумбараш Ну и собственно вы в первом посте сами написали много задач про "на лету". Чего еще надо. Бумбараш Но когда уже есть хранилище для других задач, то принято все результаты по данным получать из "одной дыры", чтобы они были одинаковыми. Поэтому репортинг переносят туда. Ну и его там обогатить проще из других систем, если надо будет. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 13:14 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic и можно и Change Data Capture - ну чтоб совсем свежак был. Чуть в сторону: самый лучший свежак получается из интеграционной шины. Пусть меньше максимальная скорость передачи, зато приходят вменяемые данные, а не потроха источника. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 14:02 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
.Евгений, Довольно спорно, т.к. "потроха источника" можно оформить в ODS и отдать еще кому-нибудь, а не только в DWH ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 14:04 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
Критик .Евгений, Довольно спорно, т.к. "потроха источника" можно оформить в ODS и отдать еще кому-нибудь, а не только в DWH Мне кажется логичным, когда с потрохами разбирается их непосредственный обладатель, на месте преобразовывая их во что-то более близкое бизнесу. Мне уже не нужно изучать смежную систему, строить ETL для каждой таблицы источника. Зато значительная часть изменений источника либо вовсе не затрагивает ETL, либо затрагивает в минимальной степени (например, прочитать новый тег сообщения по сделке вместо загрузки десятка новых таблиц и анализа использования десятка старых). ... |
|||
:
Нравится:
Не нравится:
|
|||
29.09.2020, 16:18 |
|
А зачем вообще нужны MPP Databases??
|
|||
---|---|---|---|
#18+
George Nordic Бумбараш Аналитики ДАННЫХ. В аналитическом хранилище данных анализируют данные! Бумбараш, вопрос-то не в этом. Вопрос в том, какие аналитические задачи, помимо указанных, они решают? Причем такие, что вот прям необходимо огромные массивы данных получать "на лету", что бы МРР под этим стояла. Буду благодарен за пример таких задач. С Уважением, Георгий аналитика авиабилетов например выборка aviasales за 1 день(далеко не по всем направлениям) это архив 20 гиг, разворачивается в 200 гиг, загрузка каждый день, данные за 3 месяца около 200 миллиардов строк, это только один источник, источники друг с другом не связаны, их надо связывать чтобы получить обогащенные данные. Например джойн двух табличек на 200 ярдов и на 90 ярдов Netezza прожевала за 4 часа. Пример конечно тупой, в реальном флоу таких нет, но дает представление о возможностях. В телекоме Vertica В телекоме greenplum разный онлайн анализ например переключения каналов ТВприставок В ПФР Netezza, актуарные расчеты, для сотен миллионов пенсионных счетов ... |
|||
:
Нравится:
Не нравится:
|
|||
06.10.2020, 02:34 |
|
|
start [/forum/topic.php?fid=49&msg=40002500&tid=1857225]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
31ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
others: | 247ms |
total: | 380ms |
0 / 0 |