powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Отличие OLAP-куба от витрины данных
25 сообщений из 45, страница 1 из 2
Отличие OLAP-куба от витрины данных
    #40065538
karnager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет! Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных?

Правильно ли я понимаю, что есть центральное хранилище данных (DWH), в которое мы загружаем данные из разных источников - складской учет, данные по продажам, аналитику с сайта и т.д. Из основной базы DWH мы как раз строим OLAP-кубы, то есть копируем базу данных, чтобы иметь быструю скорость доступа к данным и не нагружать базу данных хранилища, поскольку исходя из аббревиатуры - OLAP - это аналитическая обработка в реальном времени, по сути своей напоминающая сводную таблицу в Excel. И при изменении данных в таблице идет запрос на сервер (данные подгружаются в реальном времени).

А витрины данных создаются как раз под определенные задачи - анализ складского учета, данных по продажам, аналитика сайта и т.д. То есть из общего кол-ва данных берется кусочек? Получается, что OLAP - это сам процесс обработки данных, а витрина данных - это сами данные, кусочек из общего DWH?

Спасибо
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065546
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Куб это витрина съагрегированная в разных разрезах.

А OLAP и куб это не муж и жена, а четыре разных человека.

Тащемта на всё это есть статьи в педивикии

https://en.wikipedia.org/wiki/Online_analytical_processing
https://en.wikipedia.org/wiki/OLAP_cube
https://en.wikipedia.org/wiki/Data_mart
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065550
karnager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ещё больше запутали ) В чем принципиальное отличие тогда куба, если вы пишите , что олап - это витрина? То есть одно понятие в другом. Почитал статьи, но там нигде так, как вы написали - не объясняется
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065574
artel.dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
karnager,

Терминология не устоялась, как, например, в математике.

И каждый год маркетологи придумывают что-нибудь новое, запутывая еще больше.

Но обычно, OLAP-куб - это сводная таблица, как в Excel.

Витрина данных - таблица в реляционной БД (OLTP).
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065606
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
artel.dev,

Сводную таблицу можно сделать на основе запроса к таблице )

Имхо, концептуальных отличий нет.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065627
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
karnager
Ещё больше запутали ) В чем принципиальное отличие тогда куба, если вы пишите , что олап - это витрина? То есть одно понятие в другом. Почитал статьи, но там нигде так, как вы написали - не объясняется


Я не писал, что олап это витрина. Такого нет в моем сообщении.

Витрина это некоторый набор таблиц в БД для анализа какой-то области бизнеса. Например, витрина продаж. В урощенном виде это может быть одна таблица. В ней хранятся все продажи и характеристики этих продаж, которые могут интересовать аналитика. То есть таблица из ста полей. Или тысячи полей.

Куб это рассчитанные агрегаты витрины в разных разрезах. Например, продажи по годам, месяцам, подразделениям, продажникам, средние продажи и т.п. Технически эти агрегаты могут быть представлены во многих отдельных таблицах на диске. В экселе это бы выглядело как сводная таблица. Эти физические кубы нужны для того, чтобы пользователь в каком-то GUI туле, когда смотрит на витрину продаж и хочет увидеть какие-то разрезы её, не каждый раз их пересчитывал при каждом тыке, а напрямую рассчитанные данные подтягивались из куба.

OLAP это одна из категорий баз данных. Означает БД предназначенную для аналитики. Ей противопоставляют другую категорию OLTP базы - БД задача которой процессинг транзакций. Задача OLAP базы быстро делать селекты с фулл сканами на исторических данных, задача OLTP базы быстро делать инсерты и апдейты.

Например, есть какая-то учетная система, в которой сидят тетки и постоянно вносят изменения по сотрудникам или продуктам или клиентам. Делают инсерты, апдейты, делиты. Это OLTP база. Потом для аналитики всех исторических данных делают хранилище данных. В этой бд данные раскладывают по другому, в удобную для анализа форму. Например, в виде витрин и кубов. И потом сидят делают селекты над этой базой. Это OLAP база.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065637
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну началось.
Человек спрашивал, что такое OLAP куб . Ему рассказывают про отличие OLAP и OLTP БД . Наверное, через пару-тройку сообщений речь зайдет об уровнях изоляции...

Куб - это другая модель данных, отличная от реляционной.

P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065731
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений

P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн.

Online в том смысле, что пользователь может изменить выборку в отчете и куб ему выдаст данные очень быстро.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065749
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bideveloper
.Евгений

P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн.
Online в том смысле, что пользователь может изменить выборку в отчете и куб ему выдаст данные очень быстро.

Угу, конечно. Безо всякой оптимизации куба или запроса к нему. Может, все-таки не надо уподобляться маркетологам?

Но дело даже не в этом: допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065787
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
.Евгений
допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?

Вы путаете online, или быстро - применительно для выполнения запросов, и для обновления данных в базе запросов. Когда придумали кубы -- задача была быстро выдать результаты агрегаций, а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных.
Если у вас так ставится задача - online обновление данных - применяется партицирование в кубе, и последняя партиция (за последний час/день/неделю), имеет тип ROLAP, то есть обращается напрямую к БД. Благодаря тому, что объем данных в ней не очень большой - ответ получается быстро. По расписанию - подгружаются данные в основной куб.
Вполне костыль для 'online' аналитики в рамках технологии.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065888
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ferdipux
Когда придумали кубы -- задача была быстро выдать результаты агрегаций
Допустим, но быстрота может быть достигнута множеством способов (распараллеливание, кеширование, предварительные вычисления и др.), которые не претендуют на онлайн.
Ferdipux
а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных.
Вот даже так, особенно последнее? Не хотите ли вы сказать, что до 21 века никакой бизнес не был заинтересован принимать быстрые и обоснованные решения?
Ferdipux
Если у вас так ставится задача - online обновление данных...
Простите, но подсовывать OLTP под OLAP и на этом основании объявлять последний тоже On-line - это жульничество.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40065891
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ferdipux
.Евгений
допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?

Вы путаете online, или быстро - применительно для выполнения запросов, и для обновления данных в базе запросов. Когда придумали кубы -- задача была быстро выдать результаты агрегаций, а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных.
Если у вас так ставится задача - online обновление данных - применяется партицирование в кубе, и последняя партиция (за последний час/день/неделю), имеет тип ROLAP, то есть обращается напрямую к БД . Благодаря тому, что объем данных в ней не очень большой - ответ получается быстро. По расписанию - подгружаются данные в основной куб.
Вполне костыль для 'online' аналитики в рамках технологии.


Ого.
На рабочем компе нет SSAS
А что такое возможно что все партиции в MOLAP а последняя в ROLAP ?

Однако до таких тонкостей я и близко не доходил - т.е а если день -
то потом как-то каждый день партиция созадется новая партиция
а старая перключается из ROLAP в MOLAP ?
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066144
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений,

похоже, я спятил, но именно так и есть: пересчет каждые 2мин и никто не жалуется, хотя минусы тоже присутствуют (кэш сбрасывается после обработки, длительные запросы невозможны)
есть вариант с пушем в куб. это интереснее чем тупой пересчет последней партиции, но требует более аккуратного взаимодействия источника с кубом
а вот ROLAP на последней партиции у меня не "взлетел".

может данных не оч много? ежедневный прирост от 100к до 700к строк в зависимости от вида факта.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066215
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Гулин Федор
А что такое возможно что все партиции в MOLAP а последняя в ROLAP ?

Вполне, была такая рабочая конфигурация
Гулин Федор
т.е а если день -
то потом как-то каждый день партиция созадется новая партиция
а старая перключается из ROLAP в MOLAP ?

Было примерно так. Внутри недельного интервала партиции были дневные, последняя - ROLAP. Когда наступал момент переключения - создавалась новая MOLAP партиция и в нее процессились данные из ROLAP.
Тогда же дневная партиция, выходящая из недельного окна, присоединялась к последней месячной. SSAS позволяет объединять данные партиций без процессинга, нужно потом только подправить определение партиции и slice.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066315
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
karnager
Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных?

OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :)
Хотя данные могут быть абсолютно те же самые.

Общая схема может быть такой:

OLTP -> DWH -> Data Mart -> OLAP Cube
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066323
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShIgor
похоже, я спятил, но именно так и есть: пересчет каждые 2мин и никто не жалуется...

Хорошо: ваши вкусы очень специфичны, я их не пойму. Но в любом случае это дополнительное отступление от онлайна.
s_ustinov
OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :)

В пивот можно засунуть все, что угодно. Хоть набор ячеек в том же экселе.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066329
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
karnager
Всем привет! Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных?


Витрина данных — подмножество хранилища данных, представляющее собой массив тематической, узконаправленной информации, ориентированной, например, на пользователей одной рабочей группы или департамента. (С)

принципиально - ничем. можно "тематической массив" засунуть и в куб.
но обычно считается (используется подход) что "кубы" это сущность из следующего слоя за витриной
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066332
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot .Евгений#22314158]
bideveloper

Но дело даже не в этом: допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?


-что такое грузовик?
-это средство которое способно быстро перевезти большой груз.
-вы что спятили? какое быстро? погрузка же будет занимать большое время!!

исходили из того - если вы анализируете 10 последних лет, то 10 последних минут (часов, дней) вам ничего не изменяет.
а если изменят - есть другие варианты/подходы
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066342
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений

s_ustinov
OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :)

В пивот можно засунуть все, что угодно. Хоть набор ячеек в том же экселе.

Можно. )
Но я ведь не просто так сказал про "обычного пользователя".
Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066386
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Может быть, просто меня прихватило приступом занудства, но я все равно не могу согласиться со сказанным...
StarikNavy
-что такое грузовик?
-это средство которое способно быстро перевезти большой груз.
-вы что спятили? какое быстро? погрузка же будет занимать большое время!!

исходили из того - если вы анализируете 10 последних лет, то 10 последних минут (часов, дней) вам ничего не изменяет.
а если изменят - есть другие варианты/подходы

Речь идет не о какой-нибудь "Quick analytical processing", а об "On-Line". Данное слово характеризуется не столько быстротой вообще, сколько нахождением клиента в общем потоке действий, минимальной задержкой (смещением) относительно него.
s_ustinov
Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет.
А что ж ему может помешать, кроме отсутствия коннекта или прав?
Разделение данных на меры и измерения, и прочая атрибутика кубов - это именно то, о чем говорил я: другая модель данных.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066399
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений

s_ustinov
Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет.
А что ж ему может помешать, кроме отсутствия коннекта или прав?
Разделение данных на меры и измерения, и прочая атрибутика кубов - это именно то, о чем говорил я: другая модель данных.

Уровень знаний и навыков.

С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения.
А с табличками базы они так не смогут.

Модель данных у куба и витрины может быть одинаковой (звезда).

Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066403
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
s_ustinov
С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения.

Позабавил критерий куба как того, с чем могут легко работать бухгалтеры. Строгость и четкость определения на недосягаемой высоте.
s_ustinov
Модель данных у куба и витрины может быть одинаковой (звезда).

Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных.

Здесь вы смешиваете логическую и физическую модели данных (важное уточнение, которое надо было ввести раньше) . Есть физические модели: реляционная (таблицы) или многомерная (куб). И есть логические модели - снежинка, звезда, и т.д.
Вопрос стартового сообщения - в чем отличия кубов от витрин. Я вижу эти отличия именно в физической модели: куб либо имеет полноценную многомерную модель, либо имитирует ее (обычно поверх реляционной) .

Помимо прочего, физическая модель куба поддерживает некоторые возможности, отсутствующие в реляционной: например, правила агрегации, действия и др.
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066414
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений
s_ustinov
С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения.

Позабавил критерий куба как того, с чем могут легко работать бухгалтеры. Строгость и четкость определения на недосягаемой высоте.
s_ustinov
Модель данных у куба и витрины может быть одинаковой (звезда).

Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных.

Здесь вы смешиваете логическую и физическую модели данных (важное уточнение, которое надо было ввести раньше) . Есть физические модели: реляционная (таблицы) или многомерная (куб). И есть логические модели - снежинка, звезда, и т.д.
Вопрос стартового сообщения - в чем отличия кубов от витрин. Я вижу эти отличия именно в физической модели: куб либо имеет полноценную многомерную модель, либо имитирует ее (обычно поверх реляционной) .

Помимо прочего, физическая модель куба поддерживает некоторые возможности, отсутствующие в реляционной: например, правила агрегации, действия и др.

И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах?


Если мы отбросим такой критерий, как легкость работы пользователей - что останется?
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066423
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
s_ustinov
И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах?
Практически ничем. Дополнительные метаданные, хранящиеся в ROLAP прокладке, с тем же успехом можно хранить и внутри сводной таблицы экселя:
...
Рейтинг: 0 / 0
Отличие OLAP-куба от витрины данных
    #40066464
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгений
s_ustinov
И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах?
Практически ничем. Дополнительные метаданные, хранящиеся в ROLAP прокладке, с тем же успехом можно хранить и внутри сводной таблицы экселя:

Я об этом и говорю: главное отличие куба от витрины в том, что куб - это готовый к использованию пивот (с построением отчета справится пользователь без специальной подготовки), а витрина - нет...

Да, часто есть отличия по скорости работы.
Но в некоторых случаях нужный отчет из реляционных табличек сформируется быстрее, чем из куба. Так что нельзя утверждать, что куб всегда быстрее.
...
Рейтинг: 0 / 0
25 сообщений из 45, страница 1 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Отличие OLAP-куба от витрины данных
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]