ReSQL.ru
     
powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Отличие OLAP-куба от витрины данных
45 сообщений из 45, показаны все 2 страниц
  все  
Отличие OLAP-куба от витрины данных
    #40065538
karnager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
karnager
Гость
Всем привет! Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных?

Правильно ли я понимаю, что есть центральное хранилище данных (DWH), в которое мы загружаем данные из разных источников - складской учет, данные по продажам, аналитику с сайта и т.д. Из основной базы DWH мы как раз строим OLAP-кубы, то есть копируем базу данных, чтобы иметь быструю скорость доступа к данным и не нагружать базу данных хранилища, поскольку исходя из аббревиатуры - OLAP - это аналитическая обработка в реальном времени, по сути своей напоминающая сводную таблицу в Excel. И при изменении данных в таблице идет запрос на сервер (данные подгружаются в реальном времени).

А витрины данных создаются как раз под определенные задачи - анализ складского учета, данных по продажам, аналитика сайта и т.д. То есть из общего кол-ва данных берется кусочек? Получается, что OLAP - это сам процесс обработки данных, а витрина данных - это сами данные, кусочек из общего DWH?

Спасибо
...
Рейтинг: 0 / 0
25.04.2021, 01:15
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065546
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Куб это витрина съагрегированная в разных разрезах.

А OLAP и куб это не муж и жена, а четыре разных человека.

Тащемта на всё это есть статьи в педивикии

https://en.wikipedia.org/wiki/Online_analytical_processing
https://en.wikipedia.org/wiki/OLAP_cube
https://en.wikipedia.org/wiki/Data_mart
...
Рейтинг: 0 / 0
25.04.2021, 02:34
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065550
karnager
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
karnager
Гость
Ещё больше запутали ) В чем принципиальное отличие тогда куба, если вы пишите , что олап - это витрина? То есть одно понятие в другом. Почитал статьи, но там нигде так, как вы написали - не объясняется
...
Рейтинг: 0 / 0
25.04.2021, 07:34
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065574
artel.dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
artel.dev
Гость
karnager,

Терминология не устоялась, как, например, в математике.

И каждый год маркетологи придумывают что-нибудь новое, запутывая еще больше.

Но обычно, OLAP-куб - это сводная таблица, как в Excel.

Витрина данных - таблица в реляционной БД (OLTP).
...
Рейтинг: 0 / 0
25.04.2021, 11:56
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065606
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
artel.dev,

Сводную таблицу можно сделать на основе запроса к таблице )

Имхо, концептуальных отличий нет.
...
Рейтинг: 0 / 0
25.04.2021, 15:31
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065627
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
karnager
Ещё больше запутали ) В чем принципиальное отличие тогда куба, если вы пишите , что олап - это витрина? То есть одно понятие в другом. Почитал статьи, но там нигде так, как вы написали - не объясняется


Я не писал, что олап это витрина. Такого нет в моем сообщении.

Витрина это некоторый набор таблиц в БД для анализа какой-то области бизнеса. Например, витрина продаж. В урощенном виде это может быть одна таблица. В ней хранятся все продажи и характеристики этих продаж, которые могут интересовать аналитика. То есть таблица из ста полей. Или тысячи полей.

Куб это рассчитанные агрегаты витрины в разных разрезах. Например, продажи по годам, месяцам, подразделениям, продажникам, средние продажи и т.п. Технически эти агрегаты могут быть представлены во многих отдельных таблицах на диске. В экселе это бы выглядело как сводная таблица. Эти физические кубы нужны для того, чтобы пользователь в каком-то GUI туле, когда смотрит на витрину продаж и хочет увидеть какие-то разрезы её, не каждый раз их пересчитывал при каждом тыке, а напрямую рассчитанные данные подтягивались из куба.

OLAP это одна из категорий баз данных. Означает БД предназначенную для аналитики. Ей противопоставляют другую категорию OLTP базы - БД задача которой процессинг транзакций. Задача OLAP базы быстро делать селекты с фулл сканами на исторических данных, задача OLTP базы быстро делать инсерты и апдейты.

Например, есть какая-то учетная система, в которой сидят тетки и постоянно вносят изменения по сотрудникам или продуктам или клиентам. Делают инсерты, апдейты, делиты. Это OLTP база. Потом для аналитики всех исторических данных делают хранилище данных. В этой бд данные раскладывают по другому, в удобную для анализа форму. Например, в виде витрин и кубов. И потом сидят делают селекты над этой базой. Это OLAP база.
...
Рейтинг: 0 / 0
25.04.2021, 17:06
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065637
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
Ну началось.
Человек спрашивал, что такое OLAP куб . Ему рассказывают про отличие OLAP и OLTP БД . Наверное, через пару-тройку сообщений речь зайдет об уровнях изоляции...

Куб - это другая модель данных, отличная от реляционной.

P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн.
...
Рейтинг: 0 / 0
25.04.2021, 18:02
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065731
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bideveloper
Участник
.Евгений

P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн.

Online в том смысле, что пользователь может изменить выборку в отчете и куб ему выдаст данные очень быстро.
...
Рейтинг: 0 / 0
26.04.2021, 00:17
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065749
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
bideveloper
.Евгений

P.S. Давно недоумеваю, почему OLAP начинается с Online. Ну ни с какой стороны кубы не онлайн.
Online в том смысле, что пользователь может изменить выборку в отчете и куб ему выдаст данные очень быстро.

Угу, конечно. Безо всякой оптимизации куба или запроса к нему. Может, все-таки не надо уподобляться маркетологам?

Но дело даже не в этом: допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?
...
Рейтинг: 0 / 0
26.04.2021, 00:48
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065787
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
.Евгений
допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?

Вы путаете online, или быстро - применительно для выполнения запросов, и для обновления данных в базе запросов. Когда придумали кубы -- задача была быстро выдать результаты агрегаций, а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных.
Если у вас так ставится задача - online обновление данных - применяется партицирование в кубе, и последняя партиция (за последний час/день/неделю), имеет тип ROLAP, то есть обращается напрямую к БД. Благодаря тому, что объем данных в ней не очень большой - ответ получается быстро. По расписанию - подгружаются данные в основной куб.
Вполне костыль для 'online' аналитики в рамках технологии.
...
Рейтинг: 0 / 0
26.04.2021, 08:24
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065888
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
Ferdipux
Когда придумали кубы -- задача была быстро выдать результаты агрегаций
Допустим, но быстрота может быть достигнута множеством способов (распараллеливание, кеширование, предварительные вычисления и др.), которые не претендуют на онлайн.
Ferdipux
а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных.
Вот даже так, особенно последнее? Не хотите ли вы сказать, что до 21 века никакой бизнес не был заинтересован принимать быстрые и обоснованные решения?
Ferdipux
Если у вас так ставится задача - online обновление данных...
Простите, но подсовывать OLTP под OLAP и на этом основании объявлять последний тоже On-line - это жульничество.
...
Рейтинг: 0 / 0
26.04.2021, 12:01
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40065891
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
Ferdipux
.Евгений
допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?

Вы путаете online, или быстро - применительно для выполнения запросов, и для обновления данных в базе запросов. Когда придумали кубы -- задача была быстро выдать результаты агрегаций, а про быстрое обновление исходных данных для анализа даже и не мечтали. Задач у бизнеса не было, которые могли бы оправдать необходимость online обновления данных.
Если у вас так ставится задача - online обновление данных - применяется партицирование в кубе, и последняя партиция (за последний час/день/неделю), имеет тип ROLAP, то есть обращается напрямую к БД . Благодаря тому, что объем данных в ней не очень большой - ответ получается быстро. По расписанию - подгружаются данные в основной куб.
Вполне костыль для 'online' аналитики в рамках технологии.


Ого.
На рабочем компе нет SSAS
А что такое возможно что все партиции в MOLAP а последняя в ROLAP ?

Однако до таких тонкостей я и близко не доходил - т.е а если день -
то потом как-то каждый день партиция созадется новая партиция
а старая перключается из ROLAP в MOLAP ?
...
Рейтинг: 0 / 0
26.04.2021, 12:04
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066144
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
.Евгений,

похоже, я спятил, но именно так и есть: пересчет каждые 2мин и никто не жалуется, хотя минусы тоже присутствуют (кэш сбрасывается после обработки, длительные запросы невозможны)
есть вариант с пушем в куб. это интереснее чем тупой пересчет последней партиции, но требует более аккуратного взаимодействия источника с кубом
а вот ROLAP на последней партиции у меня не "взлетел".

может данных не оч много? ежедневный прирост от 100к до 700к строк в зависимости от вида факта.
...
Рейтинг: 0 / 0
26.04.2021, 22:46
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066215
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
Гулин Федор
А что такое возможно что все партиции в MOLAP а последняя в ROLAP ?

Вполне, была такая рабочая конфигурация
Гулин Федор
т.е а если день -
то потом как-то каждый день партиция созадется новая партиция
а старая перключается из ROLAP в MOLAP ?

Было примерно так. Внутри недельного интервала партиции были дневные, последняя - ROLAP. Когда наступал момент переключения - создавалась новая MOLAP партиция и в нее процессились данные из ROLAP.
Тогда же дневная партиция, выходящая из недельного окна, присоединялась к последней месячной. SSAS позволяет объединять данные партиций без процессинга, нужно потом только подправить определение партиции и slice.
...
Рейтинг: 0 / 0
27.04.2021, 09:23
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066315
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
karnager
Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных?

OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :)
Хотя данные могут быть абсолютно те же самые.

Общая схема может быть такой:

OLTP -> DWH -> Data Mart -> OLAP Cube
...
Рейтинг: 0 / 0
27.04.2021, 13:28
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066323
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
ShIgor
похоже, я спятил, но именно так и есть: пересчет каждые 2мин и никто не жалуется...

Хорошо: ваши вкусы очень специфичны, я их не пойму. Но в любом случае это дополнительное отступление от онлайна.
s_ustinov
OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :)

В пивот можно засунуть все, что угодно. Хоть набор ячеек в том же экселе.
...
Рейтинг: 0 / 0
27.04.2021, 13:45
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066329
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
karnager
Всем привет! Подскажите, пожалуйста, в чем принципиальное отличие OLAP-кубов от витрины данных?


Витрина данных — подмножество хранилища данных, представляющее собой массив тематической, узконаправленной информации, ориентированной, например, на пользователей одной рабочей группы или департамента. (С)

принципиально - ничем. можно "тематической массив" засунуть и в куб.
но обычно считается (используется подход) что "кубы" это сущность из следующего слоя за витриной
...
Рейтинг: 0 / 0
27.04.2021, 13:56
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066332
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
[quot .Евгений#22314158]
bideveloper

Но дело даже не в этом: допустим, что большинство adhoc запросов к кубу могут выполняться быстрее, чем в ХД или оперативной системе. Зато задержка загрузки в куб по определению больше, данные устарели заведомо сильнее. Ежеминутно подгружать инкремент в ХД - не вопрос, в куб - вы что, спятили?


-что такое грузовик?
-это средство которое способно быстро перевезти большой груз.
-вы что спятили? какое быстро? погрузка же будет занимать большое время!!

исходили из того - если вы анализируете 10 последних лет, то 10 последних минут (часов, дней) вам ничего не изменяет.
а если изменят - есть другие варианты/подходы
...
Рейтинг: 0 / 0
27.04.2021, 13:58
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066342
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
.Евгений

s_ustinov
OLAP-куб обычный пользователь может посмотреть в Excel в виде пивота (если о технологиях микрософт говорим), а витрину - нет. :)

В пивот можно засунуть все, что угодно. Хоть набор ячеек в том же экселе.

Можно. )
Но я ведь не просто так сказал про "обычного пользователя".
Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет.
...
Рейтинг: 0 / 0
27.04.2021, 14:14
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066386
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
Может быть, просто меня прихватило приступом занудства, но я все равно не могу согласиться со сказанным...
StarikNavy
-что такое грузовик?
-это средство которое способно быстро перевезти большой груз.
-вы что спятили? какое быстро? погрузка же будет занимать большое время!!

исходили из того - если вы анализируете 10 последних лет, то 10 последних минут (часов, дней) вам ничего не изменяет.
а если изменят - есть другие варианты/подходы

Речь идет не о какой-нибудь "Quick analytical processing", а об "On-Line". Данное слово характеризуется не столько быстротой вообще, сколько нахождением клиента в общем потоке действий, минимальной задержкой (смещением) относительно него.
s_ustinov
Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет.
А что ж ему может помешать, кроме отсутствия коннекта или прав?
Разделение данных на меры и измерения, и прочая атрибутика кубов - это именно то, о чем говорил я: другая модель данных.
...
Рейтинг: 0 / 0
27.04.2021, 15:17
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066399
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
.Евгений

s_ustinov
Куб - это уже "готовый к использованию" обычным пользователем пивот, а таблички реляционной базы - нет.
А что ж ему может помешать, кроме отсутствия коннекта или прав?
Разделение данных на меры и измерения, и прочая атрибутика кубов - это именно то, о чем говорил я: другая модель данных.

Уровень знаний и навыков.

С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения.
А с табличками базы они так не смогут.

Модель данных у куба и витрины может быть одинаковой (звезда).

Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных.
...
Рейтинг: 0 / 0
27.04.2021, 16:08
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066403
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
s_ustinov
С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения.

Позабавил критерий куба как того, с чем могут легко работать бухгалтеры. Строгость и четкость определения на недосягаемой высоте.
s_ustinov
Модель данных у куба и витрины может быть одинаковой (звезда).

Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных.

Здесь вы смешиваете логическую и физическую модели данных (важное уточнение, которое надо было ввести раньше) . Есть физические модели: реляционная (таблицы) или многомерная (куб). И есть логические модели - снежинка, звезда, и т.д.
Вопрос стартового сообщения - в чем отличия кубов от витрин. Я вижу эти отличия именно в физической модели: куб либо имеет полноценную многомерную модель, либо имитирует ее (обычно поверх реляционной) .

Помимо прочего, физическая модель куба поддерживает некоторые возможности, отсутствующие в реляционной: например, правила агрегации, действия и др.
...
Рейтинг: 0 / 0
27.04.2021, 16:32
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066414
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
.Евгений
s_ustinov
С простым кубом (одна группа мер) бухгалтера и аудиторы работают очень легко и без дополнительного обучения.

Позабавил критерий куба как того, с чем могут легко работать бухгалтеры. Строгость и четкость определения на недосягаемой высоте.
s_ustinov
Модель данных у куба и витрины может быть одинаковой (звезда).

Иногда куб называют витриной. И это тоже будет правильно, так как однозначной терминологии нет. И база SSAS в виде MDM or Tabular Mode - это тоже база данных.

Здесь вы смешиваете логическую и физическую модели данных (важное уточнение, которое надо было ввести раньше) . Есть физические модели: реляционная (таблицы) или многомерная (куб). И есть логические модели - снежинка, звезда, и т.д.
Вопрос стартового сообщения - в чем отличия кубов от витрин. Я вижу эти отличия именно в физической модели: куб либо имеет полноценную многомерную модель, либо имитирует ее (обычно поверх реляционной) .

Помимо прочего, физическая модель куба поддерживает некоторые возможности, отсутствующие в реляционной: например, правила агрегации, действия и др.

И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах?


Если мы отбросим такой критерий, как легкость работы пользователей - что останется?
...
Рейтинг: 0 / 0
27.04.2021, 17:09
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066423
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
s_ustinov
И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах?
Практически ничем. Дополнительные метаданные, хранящиеся в ROLAP прокладке, с тем же успехом можно хранить и внутри сводной таблицы экселя:
...
Рейтинг: 0 / 0
27.04.2021, 17:25
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066464
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
.Евгений
s_ustinov
И тут возникает вопрос - а чем отличается витрина данных с логической схемой звезда и данными, хранящимися в таблицах реляционной базы, от куба, который эмулирует многомерную модель и данные также хранятся в реляционных таблицах?
Практически ничем. Дополнительные метаданные, хранящиеся в ROLAP прокладке, с тем же успехом можно хранить и внутри сводной таблицы экселя:

Я об этом и говорю: главное отличие куба от витрины в том, что куб - это готовый к использованию пивот (с построением отчета справится пользователь без специальной подготовки), а витрина - нет...

Да, часто есть отличия по скорости работы.
Но в некоторых случаях нужный отчет из реляционных табличек сформируется быстрее, чем из куба. Так что нельзя утверждать, что куб всегда быстрее.
...
Рейтинг: 0 / 0
27.04.2021, 18:49
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066728
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Витриный это исходные данные -- набор таблиц (а лучше вьюх), которые используется В ТОМ ЧИСЛЕ для построение кубов, а также отчетов и т.п.

Куб это сформированный набор агрегатов и измерений.

Куб это презентационный слой -- то, что смотрят юзера. Витрины это оформленные данные в самом хранилище (БД).
...
Рейтинг: 0 / 0
28.04.2021, 14:15
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066787
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
.Евгений
Может быть, просто меня прихватило приступом занудства, но .


вэком ту зе клаб ))

.Евгений

Речь идет не о какой-нибудь "Quick analytical processing", а об "On-Line". Данное слово характеризуется не столько быстротой вообще, сколько нахождением клиента в общем потоке действий, минимальной задержкой (смещением) относительно него.


как бы переводят "интерактивная", т.е. это и не про поток, и не про скорость, а про методику работы
...
Рейтинг: 0 / 0
28.04.2021, 15:53
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066793
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
StarikNavy
вэком ту зе клаб ))
...
как бы переводят "интерактивная", т.е. это и не про поток, и не про скорость, а про методику работы

Вы серьезно?
Ну давайте обратимся к авторитету
Связанные с интернетом значения, очевидно, здесь не актуальны.
"connected to a system" или "using a computer to communicate with other computers, or of or about a computer that is connected to another computer:" т.е. включенные в общий обмен данными, а не изолированные на целый день?

Даже если это и выглядит натяжкой, то про взаимодействие с пользователем в целом и интерактивность в частности там ничего не сказано.
...
Рейтинг: 0 / 0
28.04.2021, 16:08
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066800
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
George Nordic
Участник
Такой заруб что не мимо не пройти

А права пользователям где давать? На витрину или все-таки в кубах? Давайте с этой стороны рассмотрим, и все станет на свои места.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
28.04.2021, 16:25
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066828
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
George Nordic
Такой заруб что не мимо не пройти

Терминологически-идеологические споры - одни из самых ожесточеннных.
Главное - это срезать их в реальной жизни фразой наподобие "Wer Jude ist bestimme ich!" ( "Я здесь решаю, кто еврей" )
George Nordic
А права пользователям где давать? На витрину или все-таки в кубах? Давайте с этой стороны рассмотрим, и все станет на свои места.

Я так не думаю. Давайте мысленно отделим или оставим заведомо неиспользуемым функционал раздачи прав в кубах. Оставшееся можно будет называть кубами или это будет по сути уже нечто иное?
...
Рейтинг: 0 / 0
28.04.2021, 17:10
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40066984
Фотография товарищъ
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
товарищъ
Участник
a_voronin
Витриный это исходные данные -- набор таблиц
Куб это презентационный слой


мне больше понятно определение тут https://en.wikipedia.org/wiki/Data_mart
оно логично

витрина данных - это заранее подготовленное представление данных одной предметной области ориентированное на анализ данных. Обычно в витрине используется звезда с измерениями или снежинка. И куб в данном случае является специфической реализацией витрины данных.
...
Рейтинг: 0 / 0
28.04.2021, 21:03
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067083
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
George Nordic
Участник
.Евгений
Давайте мысленно отделим или оставим заведомо неиспользуемым функционал раздачи прав в кубах. Оставшееся можно будет называть кубами или это будет по сути уже нечто иное?
Будет:
товарищъ
И куб в данном случае является специфической реализацией витрины данных.

.Евгений
Терминологически-идеологические споры - одни из самых ожесточеннных.
Правильно. Когда я вижу подобные споры, я считаю что все дело в том что все по-разному понимают определения. Поэтому лучше перефразировать на более общее:

____________________________________________/ [ODS]
Источники данных -> [возможно DataStage] -> DWH -> [возможно Витрина Данных] -> Аналитическое Хранилище Данных -> Визуализация
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\ [HDS]

Здесь:
* Источники данных - думаю, всем понятно.
* DataStage - необходимо, но не обязательно. Видел когда напрямую в КХД данные из ERP льют (я и не такое видел, я видел как ERP как КХД использовали).
DWH - понятно.
ODS - необходимо для формирования оперативной отчетности. иногда прямо из DataStage собирают.
HDS - долгосрочно хранение информации. Иногда напрямую, иногда через ODS собирают - зависит от задач и набора данных.
DataMart, витрина данных - тоже очень желательно. Но иногда витрины данных собираются не в КХД, а сразу в ADWH. Тут тоже сильно зависит от задач и от архитектора. Витрина - это хорошо. Все данные по областям собраны и готовы к использованию (быстрой выгрузке). С другой стороны, лишняя цепочка, следить за актуальностью, чтобы данные не разъезжались, да изменение структуры DWH может привести и к пересобиранию витрин...
------------------
вот до этого этапа мы обычно о правах не думаем. Все данные [обычно] доступны, но доступны только избранных, ибо содержат очень чувствительную бизнес-информацию, пользователю не отдашь, максимум - дата-сатанисту.
------------------
из витрин данные попадают в ADWH. Куб как раз и представляет собой частный случай ADWH. Вот тут уже идут преобразования для быстрой работы с информацией - поколоночное хранение, группировки, агрегации. И тут уже настраиваются права доступа к данных.
Обратная ситуация, если DWH построена на технологиях, которые позволяют быстро выгружать информацию - Teradata / Exadata / Vertica и прочий гринплам то ADWH может стать лишним звеном и витрин будет достаточно, на них сразу можно дать права и сверху ставить "гляделку".
ну и сверху ADWH уже идет визуализация, с дополнительными настройками доступа к отчетам и данным.

Мнения, критика, дополнения?

С Уважением,
Георгий
...
Рейтинг: 0 / 0
29.04.2021, 09:55
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067177
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
.Евгений

Вы серьезно?
Ну давайте обратимся к авторитету
.

ок, был неправ, это наши уже нагородили.
Припадем к первоисточнику:
The term OLAP was created as a slight modification of the traditional database term online transaction processing (OLTP)

как мы видим, про "скорость" и "актуальность данных" нету никаких пояснений (как и в термине "OLTP" собственно тоже)
----

зы
Если есть Business Intelligence (BI), Business Stupidity тоже должно быть?
...
Рейтинг: 0 / 0
29.04.2021, 12:39
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067187
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
StarikNavy
.Евгений

Вы серьезно?
Ну давайте обратимся к авторитету
.

ок, был неправ, это наши уже нагородили.
Припадем к первоисточнику:
The term OLAP was created as a slight modification of the traditional database term online transaction processing (OLTP)

как мы видим, про "скорость" и "актуальность данных" нету никаких пояснений (как и в термине "OLTP" собственно тоже)
----

зы
Если есть Business Intelligence (BI), Business Stupidity тоже должно быть?


В OLTP онлайн значит, что транзации происходят онлайн.
В OLAP онлайн значит, что ты заходишь, и делаешь аналитику онлайн.

Вот и всё. Никаких противоречий тут нет.
...
Рейтинг: 0 / 0
29.04.2021, 12:49
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067209
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
George Nordic
Будет:

Я вас правильно понял - вы действительно считаете, что удаление из куба информации о доступе пользователей сделает его витриной?
StarikNavy
ок, был неправ, это наши уже нагородили.
Припадем к первоисточнику:
The term OLAP was created as a slight modification of the traditional database term online transaction processing (OLTP)

Другими словами, бездумно скопировали. Что вполне совместимо с моим мнением: OLAP на самом деле не Online.
StarikNavy
Если есть Business Intelligence (BI), Business Stupidity тоже должно быть?
Не очень понял логику (почему должно быть), но демонстрацию соответствующего поведения наблюдал неоднократно.
Бумбараш
В OLTP онлайн значит, что транзации происходят онлайн.
В OLAP онлайн значит, что ты заходишь, и делаешь аналитику онлайн.

Вот и всё. Никаких противоречий тут нет.
А если куб посмел задуматься на хитровыдуманным запросом, то он уже не OLAP.
...
Рейтинг: 0 / 0
29.04.2021, 13:08
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067220
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
George Nordic
Участник
.Евгений
Я вас правильно понял - вы действительно считаете, что удаление из куба информации о доступе пользователей сделает его витриной?
Я говорю несколько иное: куб - это частный случай аналитического хранилища данных, ADWH. Если удалить из куба группировки и пользователей, то чем он будет отличаться от DataMart? Тем что находится в другой БД? Ну, витрины тоже иногда выносят в отдельную схему или базу данных.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
29.04.2021, 13:26
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067235
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
.Евгений
Участник
George Nordic
Я говорю несколько иное: куб - это частный случай аналитического хранилища данных, ADWH. Если удалить из куба группировки и пользователей, то чем он будет отличаться от DataMart? Тем что находится в другой БД? Ну, витрины тоже иногда выносят в отдельную схему или базу данных.

Мне кажется, здесь выбран изначально порочный подход - определять частное через общее. Как если бы заявить, что прямая - вырожденный случай параболы. Формально оно, конечно, так - но на практике скорее отдалит от понимания, чем приблизит к нему.

Я считаю, что витрина данных - это заведомо таблица, имеющая реляционную физическую модель данных. Куб - напротив, либо имеет многомерную физическую структуру, либо имитирует ее для пользователя.
...
Рейтинг: 0 / 0
29.04.2021, 13:48
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067329
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
.Евгений

Я считаю, что витрина данных - это заведомо таблица, имеющая реляционную физическую модель данных. Куб - напротив, либо имеет многомерную физическую структуру, либо имитирует ее для пользователя.

Я считаю, что витрина - это несколько представлений (таблиц).
Все данные объединять в одну таблицу - как то слишком жестокий способ убийства СУБД.

Но это мне так удобно классифицировать.
Если кто то скажет, что куб - это витрина данных - он тоже будет прав. Термины достаточно размытые.
...
Рейтинг: 0 / 0
29.04.2021, 16:33
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067366
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
George Nordic
Такой заруб что не мимо не пройти

А права пользователям где давать? На витрину или все-таки в кубах? Давайте с этой стороны рассмотрим, и все станет на свои места.

С Уважением,
Георгий

Меня то вот больше всего заинтересовал вопрос прав

Если предположить что скажем SSAS кубы с своей сисетмой прав в кубах.

а витрины это набор таблиц и вью к которым идет доступ через SQL (я не делал в такой связке но знаю подход )
то как тогда права перенести с куба на датамарт

в простейшем случае давать на все - а если НЕТ ?
Если нужно тоже разделение прав
Дублировать как-то на SQL сильно хитро и долго
Если кто делал что-то похожее напишите про общий подход.
...
Рейтинг: 0 / 0
29.04.2021, 19:17
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067381
bideveloper
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bideveloper
Участник
.Евгений

Я считаю, что витрина данных - это заведомо таблица, имеющая реляционную физическую модель данных. Куб - напротив, либо имеет многомерную физическую структуру, либо имитирует ее для пользователя.

А мне кажется Георгий тут более прав.
Логически, витрина это набор данных из одной области из которых пользователям/разработчикам удобно извлекать информацию для отчетов. А физически это может быть набор таблиц, куб, или еще какая-нибудь модель.
...
Рейтинг: 0 / 0
29.04.2021, 19:55
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067591
s_ustinov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s_ustinov
Участник
George Nordic
Поэтому лучше перефразировать на более общее:

____________________________________________/ [ODS]
Источники данных -> [возможно DataStage] -> DWH -> [возможно Витрина Данных] -> Аналитическое Хранилище Данных -> Визуализация
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\ [HDS]

Здесь:
* Источники данных - думаю, всем понятно.
* DataStage - необходимо, но не обязательно. Видел когда напрямую в КХД данные из ERP льют (я и не такое видел, я видел как ERP как КХД использовали).
DWH - понятно.
ODS - необходимо для формирования оперативной отчетности. иногда прямо из DataStage собирают.
HDS - долгосрочно хранение информации. Иногда напрямую, иногда через ODS собирают - зависит от задач и набора данных.
DataMart, витрина данных - тоже очень желательно. Но иногда витрины данных собираются не в КХД, а сразу в ADWH. Тут тоже сильно зависит от задач и от архитектора. Витрина - это хорошо. Все данные по областям собраны и готовы к использованию (быстрой выгрузке). С другой стороны, лишняя цепочка, следить за актуальностью, чтобы данные не разъезжались, да изменение структуры DWH может привести и к пересобиранию витрин...
------------------
вот до этого этапа мы обычно о правах не думаем. Все данные [обычно] доступны, но доступны только избранных, ибо содержат очень чувствительную бизнес-информацию, пользователю не отдашь, максимум - дата-сатанисту.
------------------
из витрин данные попадают в ADWH. Куб как раз и представляет собой частный случай ADWH. Вот тут уже идут преобразования для быстрой работы с информацией - поколоночное хранение, группировки, агрегации. И тут уже настраиваются права доступа к данных.
Обратная ситуация, если DWH построена на технологиях, которые позволяют быстро выгружать информацию - Teradata / Exadata / Vertica и прочий гринплам то ADWH может стать лишним звеном и витрин будет достаточно, на них сразу можно дать права и сверху ставить "гляделку".
ну и сверху ADWH уже идет визуализация, с дополнительными настройками доступа к отчетам и данным.

Мнения, критика, дополнения?

Уточню для данных, связанных с ERP и похожих задач:
В источниках данных часто денормализованные данные. В DataStage аналогично - почти полностью повторяет структуру источника.
В DWH - предпочтительнее НФБК, якорная модель или что то аналогичное с высоким уровнем нормализации. Также обычно желательна "историчность" данных (SCD2), которая часто отсутствует в источниках или реализована не очень удобно для хранилища. Когда в основном хранилище делают звезду - тяжело добавлять новые объекты и многие сложные отчеты строить тяжелее, чем на табличках обычной модели.
Витрины - лучше делать в виде view (материализованных / индексированных), и если не получается - то в виде табличек. Если в дальнейшем данные из витрины выгружаются в Аналитическое Хранилище - то в схеме звезда.
Аналитическое Хранилище - обычно со схемой звезда делается, так как именно в таком виде данные наиболее "понятны" и удобны для пользователей без специальной подготовки.
...
Рейтинг: 0 / 0
30.04.2021, 13:23
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067685
Charles Weyland
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Charles Weyland
Участник
.Евгений
Не хотите ли вы сказать, что до 21 века никакой бизнес не был заинтересован принимать быстрые и обоснованные решения?

До 21 века бизнес просил сформировать отчёт и получал его через час, через сутки или через неделю, смотря кто её формировал и в какие сроки требуется.
А потом бизнес запрашивал уточнения и ждал ещё час, сутки или неделю.

Внедрение OLAP-кубов позволило бизнесу работать с аналитикой в диалоговом режиме: запросил - получил ответ, уточнил - снова ответ. Не данные в режиме онлайн, а работа с данными в режиме онлайн. А данные зачастую интересовали не те, которые только что получены, а сравнение итогов двух прошедших кварталов и прогноз на следующий год.
...
Рейтинг: 0 / 0
30.04.2021, 18:12
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40067696
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan Durak
Участник
так и есть.
А для другого имеется и другой термин - streaming
...
Рейтинг: 0 / 0
30.04.2021, 18:44
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40071618
Кесарь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кесарь
Участник
StarikNavy
но обычно считается (используется подход) что "кубы" это сущность из следующего слоя за витриной


Да уж, видно что терминология не устоялась, ибо она парадоксальна.

Так по логике слов витрина - это последнее звено, представляющее потребителю необходимое. А если за ним следует ещё одно звено, то это уже странно. Имеется в виду для работы с информацией. В магазине витрина не последнее звено, но так там физические товары....


P.S. Ни на что не претендую, с этой областью только начал знакомиться.
...
Рейтинг: 0 / 0
20.05.2021, 12:13
| Ответить | Цитировать | Написать  
Отличие OLAP-куба от витрины данных
    #40071627
Кесарь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кесарь
Участник
Charles Weyland
.Евгений
Не хотите ли вы сказать, что до 21 века никакой бизнес не был заинтересован принимать быстрые и обоснованные решения?

До 21 века бизнес просил сформировать отчёт и получал его через час, через сутки или через неделю, смотря кто её формировал и в какие сроки требуется.
А потом бизнес запрашивал уточнения и ждал ещё час, сутки или неделю.

Внедрение OLAP-кубов позволило бизнесу работать с аналитикой в диалоговом режиме: запросил - получил ответ, уточнил - снова ответ. Не данные в режиме онлайн, а работа с данными в режиме онлайн. А данные зачастую интересовали не те, которые только что получены, а сравнение итогов двух прошедших кварталов и прогноз на следующий год.


Халява развращает. Это касается любой области. Когда появилась возможность печатать документы на принтерах, вырос бумажный документооборот. Хотя компьютеры как бы в идеале должны приводить к его уменьшению. Понижение стоимости чего угодно ведёт к увеличению его потребления во-первых, и снижению требований к качеству во вторых. Все расслабляются.


Так и тут. Зачем понимать предметную область, рожая в муках постановку задачи на отчёт, если можно строить запросы произвольным образом, да ещё самому? Коррелируем огурцы и смертность и вот вам отличная работа по анализу: все умерли, кто ел огурцы на протяжении последних 60 лет!
...
Рейтинг: 0 / 0
20.05.2021, 12:26
| Ответить | Цитировать | Написать  
45 сообщений из 45, показаны все 2 страниц
  все  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Отличие OLAP-куба от витрины данных
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=49&tid=1857138]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 36ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 68ms
get tp. blocked users:
 1ms
others: 240ms
total:  389ms
созд. / загр.: 389ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]