|
|
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
Витриный это исходные данные -- набор таблиц (а лучше вьюх), которые используется В ТОМ ЧИСЛЕ для построение кубов, а также отчетов и т.п. Куб это сформированный набор агрегатов и измерений. Куб это презентационный слой -- то, что смотрят юзера. Витрины это оформленные данные в самом хранилище (БД). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2021, 14:15 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
.Евгений Может быть, просто меня прихватило приступом занудства, но . вэком ту зе клаб )) .Евгений Речь идет не о какой-нибудь "Quick analytical processing", а об "On-Line". Данное слово характеризуется не столько быстротой вообще, сколько нахождением клиента в общем потоке действий, минимальной задержкой (смещением) относительно него. как бы переводят "интерактивная", т.е. это и не про поток, и не про скорость, а про методику работы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2021, 15:53 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
StarikNavy вэком ту зе клаб )) ... как бы переводят "интерактивная", т.е. это и не про поток, и не про скорость, а про методику работы Вы серьезно? Ну давайте обратимся к авторитету Связанные с интернетом значения, очевидно, здесь не актуальны. "connected to a system" или "using a computer to communicate with other computers, or of or about a computer that is connected to another computer:" т.е. включенные в общий обмен данными, а не изолированные на целый день? Даже если это и выглядит натяжкой, то про взаимодействие с пользователем в целом и интерактивность в частности там ничего не сказано. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2021, 16:08 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
Такой заруб что не мимо не пройти А права пользователям где давать? На витрину или все-таки в кубах? Давайте с этой стороны рассмотрим, и все станет на свои места. С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2021, 16:25 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
George Nordic Такой заруб что не мимо не пройти Терминологически-идеологические споры - одни из самых ожесточеннных. Главное - это срезать их в реальной жизни фразой наподобие "Wer Jude ist bestimme ich!" ( "Я здесь решаю, кто еврей" ) George Nordic А права пользователям где давать? На витрину или все-таки в кубах? Давайте с этой стороны рассмотрим, и все станет на свои места. Я так не думаю. Давайте мысленно отделим или оставим заведомо неиспользуемым функционал раздачи прав в кубах. Оставшееся можно будет называть кубами или это будет по сути уже нечто иное? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2021, 17:10 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
a_voronin Витриный это исходные данные -- набор таблиц Куб это презентационный слой мне больше понятно определение тут https://en.wikipedia.org/wiki/Data_mart оно логично витрина данных - это заранее подготовленное представление данных одной предметной области ориентированное на анализ данных. Обычно в витрине используется звезда с измерениями или снежинка. И куб в данном случае является специфической реализацией витрины данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2021, 21:03 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
.Евгений Давайте мысленно отделим или оставим заведомо неиспользуемым функционал раздачи прав в кубах. Оставшееся можно будет называть кубами или это будет по сути уже нечто иное? товарищъ И куб в данном случае является специфической реализацией витрины данных. .Евгений Терминологически-идеологические споры - одни из самых ожесточеннных. ____________________________________________/ [ODS] Источники данных -> [возможно DataStage] -> DWH -> [возможно Витрина Данных] -> Аналитическое Хранилище Данных -> Визуализация ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\ [HDS] Здесь: * Источники данных - думаю, всем понятно. * DataStage - необходимо, но не обязательно. Видел когда напрямую в КХД данные из ERP льют (я и не такое видел, я видел как ERP как КХД использовали). DWH - понятно. ODS - необходимо для формирования оперативной отчетности. иногда прямо из DataStage собирают. HDS - долгосрочно хранение информации. Иногда напрямую, иногда через ODS собирают - зависит от задач и набора данных. DataMart, витрина данных - тоже очень желательно. Но иногда витрины данных собираются не в КХД, а сразу в ADWH. Тут тоже сильно зависит от задач и от архитектора. Витрина - это хорошо. Все данные по областям собраны и готовы к использованию (быстрой выгрузке). С другой стороны, лишняя цепочка, следить за актуальностью, чтобы данные не разъезжались, да изменение структуры DWH может привести и к пересобиранию витрин... ------------------ вот до этого этапа мы обычно о правах не думаем. Все данные [обычно] доступны, но доступны только избранных, ибо содержат очень чувствительную бизнес-информацию, пользователю не отдашь, максимум - дата-сатанисту. ------------------ из витрин данные попадают в ADWH. Куб как раз и представляет собой частный случай ADWH. Вот тут уже идут преобразования для быстрой работы с информацией - поколоночное хранение, группировки, агрегации. И тут уже настраиваются права доступа к данных. Обратная ситуация, если DWH построена на технологиях, которые позволяют быстро выгружать информацию - Teradata / Exadata / Vertica и прочий гринплам то ADWH может стать лишним звеном и витрин будет достаточно, на них сразу можно дать права и сверху ставить "гляделку". ну и сверху ADWH уже идет визуализация, с дополнительными настройками доступа к отчетам и данным. Мнения, критика, дополнения? С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 09:55 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
.Евгений ок, был неправ, это наши уже нагородили. Припадем к первоисточнику: The term OLAP was created as a slight modification of the traditional database term online transaction processing (OLTP) как мы видим, про "скорость" и "актуальность данных" нету никаких пояснений (как и в термине "OLTP" собственно тоже) ---- зы Если есть Business Intelligence (BI), Business Stupidity тоже должно быть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 12:39 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
StarikNavy .Евгений ок, был неправ, это наши уже нагородили. Припадем к первоисточнику: The term OLAP was created as a slight modification of the traditional database term online transaction processing (OLTP) как мы видим, про "скорость" и "актуальность данных" нету никаких пояснений (как и в термине "OLTP" собственно тоже) ---- зы Если есть Business Intelligence (BI), Business Stupidity тоже должно быть? В OLTP онлайн значит, что транзации происходят онлайн. В OLAP онлайн значит, что ты заходишь, и делаешь аналитику онлайн. Вот и всё. Никаких противоречий тут нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 12:49 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
George Nordic Будет: Я вас правильно понял - вы действительно считаете, что удаление из куба информации о доступе пользователей сделает его витриной? StarikNavy ок, был неправ, это наши уже нагородили. Припадем к первоисточнику: The term OLAP was created as a slight modification of the traditional database term online transaction processing (OLTP) Другими словами, бездумно скопировали. Что вполне совместимо с моим мнением: OLAP на самом деле не Online. StarikNavy Если есть Business Intelligence (BI), Business Stupidity тоже должно быть? Бумбараш В OLTP онлайн значит, что транзации происходят онлайн. В OLAP онлайн значит, что ты заходишь, и делаешь аналитику онлайн. Вот и всё. Никаких противоречий тут нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 13:08 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
.Евгений Я вас правильно понял - вы действительно считаете, что удаление из куба информации о доступе пользователей сделает его витриной? С Уважением, Георгий ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 13:26 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
George Nordic Я говорю несколько иное: куб - это частный случай аналитического хранилища данных, ADWH. Если удалить из куба группировки и пользователей, то чем он будет отличаться от DataMart? Тем что находится в другой БД? Ну, витрины тоже иногда выносят в отдельную схему или базу данных. Мне кажется, здесь выбран изначально порочный подход - определять частное через общее. Как если бы заявить, что прямая - вырожденный случай параболы. Формально оно, конечно, так - но на практике скорее отдалит от понимания, чем приблизит к нему. Я считаю, что витрина данных - это заведомо таблица, имеющая реляционную физическую модель данных. Куб - напротив, либо имеет многомерную физическую структуру, либо имитирует ее для пользователя. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 13:48 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
.Евгений Я считаю, что витрина данных - это заведомо таблица, имеющая реляционную физическую модель данных. Куб - напротив, либо имеет многомерную физическую структуру, либо имитирует ее для пользователя. Я считаю, что витрина - это несколько представлений (таблиц). Все данные объединять в одну таблицу - как то слишком жестокий способ убийства СУБД. Но это мне так удобно классифицировать. Если кто то скажет, что куб - это витрина данных - он тоже будет прав. Термины достаточно размытые. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 16:33 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
George Nordic Такой заруб что не мимо не пройти А права пользователям где давать? На витрину или все-таки в кубах? Давайте с этой стороны рассмотрим, и все станет на свои места. С Уважением, Георгий Меня то вот больше всего заинтересовал вопрос прав Если предположить что скажем SSAS кубы с своей сисетмой прав в кубах. а витрины это набор таблиц и вью к которым идет доступ через SQL (я не делал в такой связке но знаю подход ) то как тогда права перенести с куба на датамарт в простейшем случае давать на все - а если НЕТ ? Если нужно тоже разделение прав Дублировать как-то на SQL сильно хитро и долго Если кто делал что-то похожее напишите про общий подход. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 19:17 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
.Евгений Я считаю, что витрина данных - это заведомо таблица, имеющая реляционную физическую модель данных. Куб - напротив, либо имеет многомерную физическую структуру, либо имитирует ее для пользователя. А мне кажется Георгий тут более прав. Логически, витрина это набор данных из одной области из которых пользователям/разработчикам удобно извлекать информацию для отчетов. А физически это может быть набор таблиц, куб, или еще какая-нибудь модель. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2021, 19:55 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
George Nordic Поэтому лучше перефразировать на более общее: ____________________________________________/ [ODS] Источники данных -> [возможно DataStage] -> DWH -> [возможно Витрина Данных] -> Аналитическое Хранилище Данных -> Визуализация ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\ [HDS] Здесь: * Источники данных - думаю, всем понятно. * DataStage - необходимо, но не обязательно. Видел когда напрямую в КХД данные из ERP льют (я и не такое видел, я видел как ERP как КХД использовали). DWH - понятно. ODS - необходимо для формирования оперативной отчетности. иногда прямо из DataStage собирают. HDS - долгосрочно хранение информации. Иногда напрямую, иногда через ODS собирают - зависит от задач и набора данных. DataMart, витрина данных - тоже очень желательно. Но иногда витрины данных собираются не в КХД, а сразу в ADWH. Тут тоже сильно зависит от задач и от архитектора. Витрина - это хорошо. Все данные по областям собраны и готовы к использованию (быстрой выгрузке). С другой стороны, лишняя цепочка, следить за актуальностью, чтобы данные не разъезжались, да изменение структуры DWH может привести и к пересобиранию витрин... ------------------ вот до этого этапа мы обычно о правах не думаем. Все данные [обычно] доступны, но доступны только избранных, ибо содержат очень чувствительную бизнес-информацию, пользователю не отдашь, максимум - дата-сатанисту. ------------------ из витрин данные попадают в ADWH. Куб как раз и представляет собой частный случай ADWH. Вот тут уже идут преобразования для быстрой работы с информацией - поколоночное хранение, группировки, агрегации. И тут уже настраиваются права доступа к данных. Обратная ситуация, если DWH построена на технологиях, которые позволяют быстро выгружать информацию - Teradata / Exadata / Vertica и прочий гринплам то ADWH может стать лишним звеном и витрин будет достаточно, на них сразу можно дать права и сверху ставить "гляделку". ну и сверху ADWH уже идет визуализация, с дополнительными настройками доступа к отчетам и данным. Мнения, критика, дополнения? Уточню для данных, связанных с ERP и похожих задач: В источниках данных часто денормализованные данные. В DataStage аналогично - почти полностью повторяет структуру источника. В DWH - предпочтительнее НФБК, якорная модель или что то аналогичное с высоким уровнем нормализации. Также обычно желательна "историчность" данных (SCD2), которая часто отсутствует в источниках или реализована не очень удобно для хранилища. Когда в основном хранилище делают звезду - тяжело добавлять новые объекты и многие сложные отчеты строить тяжелее, чем на табличках обычной модели. Витрины - лучше делать в виде view (материализованных / индексированных), и если не получается - то в виде табличек. Если в дальнейшем данные из витрины выгружаются в Аналитическое Хранилище - то в схеме звезда. Аналитическое Хранилище - обычно со схемой звезда делается, так как именно в таком виде данные наиболее "понятны" и удобны для пользователей без специальной подготовки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.04.2021, 13:23 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
.Евгений Не хотите ли вы сказать, что до 21 века никакой бизнес не был заинтересован принимать быстрые и обоснованные решения? До 21 века бизнес просил сформировать отчёт и получал его через час, через сутки или через неделю, смотря кто её формировал и в какие сроки требуется. А потом бизнес запрашивал уточнения и ждал ещё час, сутки или неделю. Внедрение OLAP-кубов позволило бизнесу работать с аналитикой в диалоговом режиме: запросил - получил ответ, уточнил - снова ответ. Не данные в режиме онлайн, а работа с данными в режиме онлайн. А данные зачастую интересовали не те, которые только что получены, а сравнение итогов двух прошедших кварталов и прогноз на следующий год. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.04.2021, 18:12 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
так и есть. А для другого имеется и другой термин - streaming ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 30.04.2021, 18:44 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
StarikNavy но обычно считается (используется подход) что "кубы" это сущность из следующего слоя за витриной Да уж, видно что терминология не устоялась, ибо она парадоксальна. Так по логике слов витрина - это последнее звено, представляющее потребителю необходимое. А если за ним следует ещё одно звено, то это уже странно. Имеется в виду для работы с информацией. В магазине витрина не последнее звено, но так там физические товары.... P.S. Ни на что не претендую, с этой областью только начал знакомиться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.05.2021, 12:13 |
|
||
|
Отличие OLAP-куба от витрины данных
|
|||
|---|---|---|---|
|
#18+
Charles Weyland .Евгений Не хотите ли вы сказать, что до 21 века никакой бизнес не был заинтересован принимать быстрые и обоснованные решения? До 21 века бизнес просил сформировать отчёт и получал его через час, через сутки или через неделю, смотря кто её формировал и в какие сроки требуется. А потом бизнес запрашивал уточнения и ждал ещё час, сутки или неделю. Внедрение OLAP-кубов позволило бизнесу работать с аналитикой в диалоговом режиме: запросил - получил ответ, уточнил - снова ответ. Не данные в режиме онлайн, а работа с данными в режиме онлайн. А данные зачастую интересовали не те, которые только что получены, а сравнение итогов двух прошедших кварталов и прогноз на следующий год. Халява развращает. Это касается любой области. Когда появилась возможность печатать документы на принтерах, вырос бумажный документооборот. Хотя компьютеры как бы в идеале должны приводить к его уменьшению. Понижение стоимости чего угодно ведёт к увеличению его потребления во-первых, и снижению требований к качеству во вторых. Все расслабляются. Так и тут. Зачем понимать предметную область, рожая в муках постановку задачи на отчёт, если можно строить запросы произвольным образом, да ещё самому? Коррелируем огурцы и смертность и вот вам отличная работа по анализу: все умерли, кто ел огурцы на протяжении последних 60 лет! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.05.2021, 12:26 |
|
||
|
|
start [/forum/topic.php?fid=49&msg=40066787&tid=1857138]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
35ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
60ms |
get tp. blocked users: |
1ms |
| others: | 247ms |
| total: | 387ms |
| 0 / 0 |
