|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Всем привет! Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных? Правильно ли я понимаю, что есть центральное хранилище данных (DWH), в которое мы загружаем данные из разных источников - складской учет, данные по продажам, аналитику с сайта и т.д. Из основной базы DWH мы как раз строим OLAP-кубы, то есть копируем базу данных, чтобы иметь быструю скорость доступа к данным и не нагружать базу данных хранилища, поскольку исходя из аббревиатуры - OLAP - это аналитическая обработка в реальном времени, по сути своей напоминающая сводную таблицу в Excel. И при изменении данных в таблице идет запрос на сервер (данные подгружаются в реальном времени). А витрины данных создаются как раз под определенные задачи - анализ складского учета, данных по продажам, аналитика сайта и т.д. То есть из общего кол-ва данных берется кусочек? Получается, что OLAP - это сам процесс обработки данных, а витрина данных - это сами данные, кусочек из общего DWH? Спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2021, 01:15 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Куб это витрина съагрегированная в разных разрезах. А OLAP и куб это не муж и жена, а четыре разных человека. Тащемта на всё это есть статьи в педивикии https://en.wikipedia.org/wiki/Online_analytical_processing https://en.wikipedia.org/wiki/OLAP_cube https://en.wikipedia.org/wiki/Data_mart ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2021, 02:34 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Ещё больше запутали ) В чем принципиальное отличие тогда куба, если вы пишите , что олап - это витрина? То есть одно понятие в другом. Почитал статьи, но там нигде так, как вы написали - не объясняется ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2021, 07:34 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
karnager, Терминология не устоялась, как, например, в математике. И каждый год маркетологи придумывают что-нибудь новое, запутывая еще больше. Но обычно, OLAP-куб - это сводная таблица, как в Excel. Витрина данных - таблица в реляционной БД (OLTP). ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2021, 11:56 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
artel.dev, Сводную таблицу можно сделать на основе запроса к таблице ) Имхо, концептуальных отличий нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2021, 15:31 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
karnager Ещё больше запутали ) В чем принципиальное отличие тогда куба, если вы пишите , что олап - это витрина? То есть одно понятие в другом. Почитал статьи, но там нигде так, как вы написали - не объясняется Я не писал, что олап это витрина. Такого нет в моем сообщении. Витрина это некоторый набор таблиц в БД для анализа какой-то области бизнеса. Например, витрина продаж. В урощенном виде это может быть одна таблица. В ней хранятся все продажи и характеристики этих продаж, которые могут интересовать аналитика. То есть таблица из ста полей. Или тысячи полей. Куб это рассчитанные агрегаты витрины в разных разрезах. Например, продажи по годам, месяцам, подразделениям, продажникам, средние продажи и т.п. Технически эти агрегаты могут быть представлены во многих отдельных таблицах на диске. В экселе это бы выглядело как сводная таблица. Эти физические кубы нужны для того, чтобы пользователь в каком-то GUI туле, когда смотрит на витрину продаж и хочет увидеть какие-то разрезы её, не каждый раз их пересчитывал при каждом тыке, а напрямую рассчитанные данные подтягивались из куба. OLAP это одна из категорий баз данных. Означает БД предназначенную для аналитики. Ей противопоставляют другую категорию OLTP базы - БД задача которой процессинг транзакций. Задача OLAP базы быстро делать селекты с фулл сканами на исторических данных, задача OLTP базы быстро делать инсерты и апдейты. Например, есть какая-то учетная система, в которой сидят тетки и постоянно вносят изменения по сотрудникам или продуктам или клиентам. Делают инсерты, апдейты, делиты. Это OLTP база. Потом для аналитики всех исторических данных делают хранилище данных. В этой бд данные раскладывают по другому, в удобную для анализа форму. Например, в виде витрин и кубов. И потом сидят делают селекты над этой базой. Это OLAP база. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2021, 17:06 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Ну началось. Человек спрашивал, что такое OLAP куб . Ему рассказывают про отличие OLAP и OLTP БД . Наверное, через пару-тройку сообщений речь зайдет об уровнях изоляции... Куб - это другая модель данных, отличная от реляционной. P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.04.2021, 18:02 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
.Евгений P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн. Online в том смысле, что пользователь может изменить выборку в отчете и куб ему выдаст данные очень быстро. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2021, 00:17 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
bideveloper .Евгений P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн. Угу, конечно. Безо всякой оптимизации куба или запроса к нему. Может, все-таки не надо уподобляться маркетологам? Но дело даже не в этом: допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2021, 00:48 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
.Евгений допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили? Вы путаете online, или быстро - применительно для выполнения запросов, и для обновления данных в базе запросов. Когда придумали кубы -- задача была быстро выдать результаты агрегаций, а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных. Если у вас так ставится задача - online обновление данных - применяется партицирование в кубе, и последняя партиция (за последний час/день/неделю), имеет тип ROLAP, то есть обращается напрямую к БД. Благодаря тому, что объем данных в ней не очень большой - ответ получается быстро. По расписанию - подгружаются данные в основной куб. Вполне костыль для 'online' аналитики в рамках технологии. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2021, 08:24 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Ferdipux Когда придумали кубы -- задача была быстро выдать результаты агрегаций Ferdipux а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных. Ferdipux Если у вас так ставится задача - online обновление данных... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2021, 12:01 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Ferdipux .Евгений допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили? Вы путаете online, или быстро - применительно для выполнения запросов, и для обновления данных в базе запросов. Когда придумали кубы -- задача была быстро выдать результаты агрегаций, а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных. Если у вас так ставится задача - online обновление данных - применяется партицирование в кубе, и последняя партиция (за последний час/день/неделю), имеет тип ROLAP, то есть обращается напрямую к БД . Благодаря тому, что объем данных в ней не очень большой - ответ получается быстро. По расписанию - подгружаются данные в основной куб. Вполне костыль для 'online' аналитики в рамках технологии. Ого. На рабочем компе нет SSAS А что такое возможно что все партиции в MOLAP а последняя в ROLAP ? Однако до таких тонкостей я и близко не доходил - т.е а если день - то потом как-то каждый день партиция созадется новая партиция а старая перключается из ROLAP в MOLAP ? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2021, 12:04 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
.Евгений, похоже, я спятил, но именно так и есть: пересчет каждые 2мин и никто не жалуется, хотя минусы тоже присутствуют (кэш сбрасывается после обработки, длительные запросы невозможны) есть вариант с пушем в куб. это интереснее чем тупой пересчет последней партиции, но требует более аккуратного взаимодействия источника с кубом а вот ROLAP на последней партиции у меня не "взлетел". может данных не оч много? ежедневный прирост от 100к до 700к строк в зависимости от вида факта. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2021, 22:46 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Гулин Федор А что такое возможно что все партиции в MOLAP а последняя в ROLAP ? Вполне, была такая рабочая конфигурация Гулин Федор т.е а если день - то потом как-то каждый день партиция созадется новая партиция а старая перключается из ROLAP в MOLAP ? Было примерно так. Внутри недельного интервала партиции были дневные, последняя - ROLAP. Когда наступал момент переключения - создавалась новая MOLAP партиция и в нее процессились данные из ROLAP. Тогда же дневная партиция, выходящая из недельного окна, присоединялась к последней месячной. SSAS позволяет объединять данные партиций без процессинга, нужно потом только подправить определение партиции и slice. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 09:23 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
karnager Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных? OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :) Хотя данные могут быть абсолютно те же самые. Общая схема может быть такой: OLTP -> DWH -> Data Mart -> OLAP Cube ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 13:28 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
ShIgor похоже, я спятил, но именно так и есть: пересчет каждые 2мин и никто не жалуется... Хорошо: ваши вкусы очень специфичны, я их не пойму. Но в любом случае это дополнительное отступление от онлайна. s_ustinov OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :) В пивот можно засунуть все, что угодно. Хоть набор ячеек в том же экселе. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 13:45 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
karnager Всем привет! Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных? Витрина данных — подмножество хранилища данных, представляющее собой массив тематической, узконаправленной информации, ориентированной, например, на пользователей одной рабочей группы или департамента. (С) принципиально - ничем. можно "тематической массив" засунуть и в куб. но обычно считается (используется подход) что "кубы" это сущность из следующего слоя за витриной ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 13:56 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
[quot .Евгений#22314158] bideveloper Но дело даже не в этом: допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили? -что такое грузовик? -это средство которое способно быстро перевезти большой груз. -вы что спятили? какое быстро? погрузка же будет занимать большое время!! исходили из того - если вы анализируете 10 последних лет, то 10 последних минут (часов, дней) вам ничего не изменяет. а если изменят - есть другие варианты/подходы ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 13:58 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
.Евгений s_ustinov OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :) В пивот можно засунуть все, что угодно. Хоть набор ячеек в том же экселе. Можно. ) Но я ведь не просто так сказал про "обычного пользователя". Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 14:14 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
Может быть, просто меня прихватило приступом занудства, но я все равно не могу согласиться со сказанным... StarikNavy -что такое грузовик? -это средство которое способно быстро перевезти большой груз. -вы что спятили? какое быстро? погрузка же будет занимать большое время!! исходили из того - если вы анализируете 10 последних лет, то 10 последних минут (часов, дней) вам ничего не изменяет. а если изменят - есть другие варианты/подходы Речь идет не о какой-нибудь "Quick analytical processing", а об "On-Line". Данное слово характеризуется не столько быстротой вообще, сколько нахождением клиента в общем потоке действий, минимальной задержкой (смещением) относительно него. s_ustinov Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет. Разделение данных на меры и измерения, и прочая атрибутика кубов - это именно то, о чем говорил я: другая модель данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 15:17 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
.Евгений s_ustinov Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет. Разделение данных на меры и измерения, и прочая атрибутика кубов - это именно то, о чем говорил я: другая модель данных. Уровень знаний и навыков. С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения. А с табличками базы они так не смогут. Модель данных у куба и витрины может быть одинаковой (звезда). Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 16:08 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
s_ustinov С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения. Позабавил критерий куба как того, с чем могут легко работать бухгалтеры. Строгость и четкость определения на недосягаемой высоте. s_ustinov Модель данных у куба и витрины может быть одинаковой (звезда). Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных. Здесь вы смешиваете логическую и физическую модели данных (важное уточнение, которое надо было ввести раньше) . Есть физические модели: реляционная (таблицы) или многомерная (куб). И есть логические модели - снежинка, звезда, и т.д. Вопрос стартового сообщения - в чем отличия кубов от витрин. Я вижу эти отличия именно в физической модели: куб либо имеет полноценную многомерную модель, либо имитирует ее (обычно поверх реляционной) . Помимо прочего, физическая модель куба поддерживает некоторые возможности, отсутствующие в реляционной: например, правила агрегации, действия и др. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 16:32 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
.Евгений s_ustinov С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения. Позабавил критерий куба как того, с чем могут легко работать бухгалтеры. Строгость и четкость определения на недосягаемой высоте. s_ustinov Модель данных у куба и витрины может быть одинаковой (звезда). Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных. Здесь вы смешиваете логическую и физическую модели данных (важное уточнение, которое надо было ввести раньше) . Есть физические модели: реляционная (таблицы) или многомерная (куб). И есть логические модели - снежинка, звезда, и т.д. Вопрос стартового сообщения - в чем отличия кубов от витрин. Я вижу эти отличия именно в физической модели: куб либо имеет полноценную многомерную модель, либо имитирует ее (обычно поверх реляционной) . Помимо прочего, физическая модель куба поддерживает некоторые возможности, отсутствующие в реляционной: например, правила агрегации, действия и др. И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах? Если мы отбросим такой критерий, как легкость работы пользователей - что останется? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 17:09 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
s_ustinov И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 17:25 |
|
Отличие OLAP-куба от витрины данных
|
|||
---|---|---|---|
#18+
.Евгений s_ustinov И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах? Я об этом и говорю: главное отличие куба от витрины в том, что куб - это готовый к использованию пивот (с построением отчета справится пользователь без специальной подготовки), а витрина - нет... Да, часто есть отличия по скорости работы. Но в некоторых случаях нужный отчет из реляционных табличек сформируется быстрее, чем из куба. Так что нельзя утверждать, что куб всегда быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.04.2021, 18:49 |
|
|
start [/forum/topic.php?fid=49&msg=40066144&tid=1857138]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
48ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
59ms |
get tp. blocked users: |
1ms |
others: | 249ms |
total: | 403ms |
0 / 0 |