ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / OLAP(SSAS) & DWH(Clickhouse)
38 сообщений из 38, показаны все 2 страниц
  все  
OLAP(SSAS) & DWH(Clickhouse)
    #39944747
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Кто-нибудь делал такое?
Куб SSAS, а источник Clickhouse (CH).
Clickhouse - sql запросы работает отлично, а MSSQL выполняет запросы долго
Код: sql
1.
2.
select count(*)
from Остатки


112 000 000 строк в MSSQL выполняется 52 секунды (колоночные индексы)
в CH ~ 1 секунду

Так как куб используют в excel и power BI, а с базой данных 99% пользователей не работают на SQL/MDX, куб самое лучшее решение, для всех в одном месте.

Проблема с MSSQL, дополнительные вычисления делаются долго, а вычисления на CH быстро.
Я не хочу поддерживать MSSQL только для OLAP, а убрать DWH MSSQL и заменить его на CH
...
Рейтинг: 0 / 0
08.04.2020, 10:39
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39944820
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Focha,

Я рекомендую Вам взвесить все за и против такого решения. Click House насколько мне известно плохо join-ит большие таблицы, он может соединять большую с маленькой, но большую с большой у него проблемы.

COUNT SUM AVG MAX можно пробросить на прямую в БД использую ROLAP. Но вот c DISTINCT COUNT могут быть ограничения.

Есть опыт в разработки кубов от Вертики, но вот чтобы от ClickHouse я не слышал.
...
Рейтинг: 0 / 0
08.04.2020, 13:00
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39944832
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Focha,

На Вертике
Код: sql
1.
SELECT COUNT(*) FROM X;



выполнился за 0.7 сек на 676 лямах. Но я подозреваю, что он просто счетчик строк нашел.

Код: sql
1.
2.
3.
SELECT COUNT(*),  "Date" 
FROM X
GROUP BY DAte;



тоже почти мгновенно -- даты за 10 лет на 676 лямах


Код: sql
1.
2.
3.
SELECT COUNT(*), SUM(Amount), SUM(Qty), "Date" 
FROM X
GROUP BY DAte;



30 секунд

Код: sql
1.
2.
3.
SELECT COUNT(*), COUNT(DISTINCT Товары),COUNT(DISTINCT Магазины), "Date" 
FROM X
GROUP BY DAte;


27 секунд
...
Рейтинг: 0 / 0
08.04.2020, 13:13
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39944858
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
T87
Участник
a_voronin
Focha,

На Вертике
Код: sql
1.
SELECT COUNT(*) FROM X;



выполнился за 0.7 сек на 676 лямах. Но я подозреваю, что он просто счетчик строк нашел.

Код: sql
1.
2.
3.
SELECT COUNT(*),  "Date" 
FROM X
GROUP BY DAte;



тоже почти мгновенно -- даты за 10 лет на 676 лямах


Код: sql
1.
2.
3.
SELECT COUNT(*), SUM(Amount), SUM(Qty), "Date" 
FROM X
GROUP BY DAte;



30 секунд

Код: sql
1.
2.
3.
SELECT COUNT(*), COUNT(DISTINCT Товары),COUNT(DISTINCT Магазины), "Date" 
FROM X
GROUP BY DAte;


27 секунд



Azure Synapse 1000DWU. ~500 строк

Код: sql
1.
SELECT COUNT(*) FROM X;


Мгновенно

Код: sql
1.
2.
3.
SELECT COUNT(*),  "Date" 
FROM X
GROUP BY DAte;


2с


Код: sql
1.
2.
3.
SELECT COUNT(*), SUM(Amount), SUM(Qty), "Date" 
FROM X
GROUP BY DAte;


3с

Код: sql
1.
2.
3.
SELECT COUNT(*), COUNT(DISTINCT Товары),COUNT(DISTINCT Магазины), "Date" 
FROM X
GROUP BY DAte;



30с
...
Рейтинг: 0 / 0
08.04.2020, 14:21
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39944861
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
T87
Участник
T87,

500 млн строк конечно же
...
Рейтинг: 0 / 0
08.04.2020, 14:22
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39944873
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
T87,

А сколько центов стоит выполнение каждого из этих запросов?

И я оговорюсь, что в моем случае это 1-серверный вариант бесплатной Вертики на тухлом железе. Учитывая сравнение, в Ажуре вот это должно за 3-5 сек отдаваться.

Код: sql
1.
2.
3.
SELECT COUNT(*), COUNT(DISTINCT Товары),COUNT(DISTINCT Магазины), "Date" 
FROM X
GROUP BY DAte;
...
Рейтинг: 0 / 0
08.04.2020, 14:52
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39944896
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Focha
112 000 000 строк в MSSQL выполняется 52 секунды (колоночные индексы)
в CH ~ 1 секунду

Проблема с MSSQL, дополнительные вычисления делаются долго, а вычисления на CH быстро.
Я не хочу поддерживать MSSQL только для OLAP, а убрать DWH MSSQL и заменить его на CH


Вместо того, чтобы найти и поправить проблему вы хотите поменять СУБД хранилища, что будет стоить компании несколько миллионов рублей, если ХД более-менее большая

А после нужно будет поддерживать и CH, в требованиях к вакансии появится CH, в целом стоимость поддержки чуствительно подрастет. Не говорите начальству о вашей идее, иначе быть беде )

Ну и select count(*) такой себе запрос для теста... Пользователи и кубы его явно не используют.
...
Рейтинг: 0 / 0
08.04.2020, 15:24
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39944992
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
T87
Участник
a_voronin
T87,

А сколько центов стоит выполнение каждого из этих запросов?

И я оговорюсь, что в моем случае это 1-серверный вариант бесплатной Вертики на тухлом железе. Учитывая сравнение, в Ажуре вот это должно за 3-5 сек отдаваться.

Код: sql
1.
2.
3.
SELECT COUNT(*), COUNT(DISTINCT Товары),COUNT(DISTINCT Магазины), "Date" 
FROM X
GROUP BY DAte;



0,0042‬$ за секунду.
По кейсу с дистинктами можно ускорить. Таблица не секционирована и распределение дефолтное. Это Staging. Как положу в DWH смогу пересчитать.
...
Рейтинг: 0 / 0
08.04.2020, 18:38
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945134
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
a_voronin
T87,

А сколько центов стоит выполнение каждого из этих запросов?

И я оговорюсь, что в моем случае это 1-серверный вариант бесплатной Вертики на тухлом железе. Учитывая сравнение, в Ажуре вот это должно за 3-5 сек отдаваться.



вот тут сравнивают вертику и кликхаус на миллиарде строк

https://tech.marksblogg.com/benchmarks.html

на одинаковых железках кликхаус в 5-10 раз быстрее вертики. На конкретных запросах из кейсов.
...
Рейтинг: 0 / 0
09.04.2020, 00:16
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945135
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Критик


Вместо того, чтобы найти и поправить проблему вы хотите поменять СУБД хранилища, что будет стоить компании несколько миллионов рублей, если ХД более-менее большая


если ХД более-менее большая и растёт, то на лицензии MS денег не хватит.
Это стандартная тема ухода с MS на хранилищах: "У нас было всё на MS, всё работало хорошо, но данных становилось больше, и стока денег на лицензии не было"
...
Рейтинг: 0 / 0
09.04.2020, 00:21
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945136
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Focha

Так как куб

С CH и ими подобными системами не используют кубы.

Кубы не нужны.

И весь ROLAP/MOLAP/MDX существует только в мире MS.

У других без этого всё прекрасно работает.
...
Рейтинг: 0 / 0
09.04.2020, 00:23
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945137
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Бумбараш,

Немножко есть, но автор таких вопросов не поднимает )

Ну и довольно странной выглядит ситуация - когда объем данных, который льется ежедневно, насолько велик, что нужны новые лицензии (сотни Гб в день?), и при этом у компании нет денег... Я все же предположу, что тут скорее ХД разрабатывали криворучки, или изначально была выбрана в корне неверная архитектура.
...
Рейтинг: 0 / 0
09.04.2020, 00:31
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945139
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
Бумбараш

С CH и ими подобными системами не используют кубы.


А что там используют? Текущая ситуация понятна - куча народу крутит сводные таблицы. А в случае с CH как им работать?
...
Рейтинг: 0 / 0
09.04.2020, 00:33
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945141
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Критик
Бумбараш

С CH и ими подобными системами не используют кубы.


А что там используют? Текущая ситуация понятна - куча народу крутит сводные таблицы. А в случае с CH как им работать?

витрины просто, потом BI

Если тут на кубы миллион всего жостко завязано, тогда от них избавиться не получится/будет невыгодно по ресурсам.
...
Рейтинг: 0 / 0
09.04.2020, 00:46
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945143
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Критик

Ну и довольно странной выглядит ситуация - когда объем данных, который льется ежедневно, насолько велик, что нужны новые лицензии (сотни Гб в день?), и при этом у компании нет денег... Я все же предположу, что тут скорее ХД разрабатывали криворучки, или изначально была выбрана в корне неверная архитектура.

Ну так, например, в одноклассниках было. Не думаю, что там была проблема в кривых руках.

Если количество данных растёт в разы, то и траты на лицензии растёт в разы. А прибыль у компании, как понятно, в разы расти не может. Ну и даже если у тебя есть деньги на лицензии. Если ты в ситуации, что ты платил за них X, а должен платить 10X, и при этом есть вариант сделать так, чтобы не платить за лицензии, мало кто сделает выбор в пользу платить 10X.
...
Рейтинг: 0 / 0
09.04.2020, 00:49
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945157
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Бумбараш,

А я не спорю, что clickhouse круче на прямом скане. С оговоркой, что в вертике, скорее всего, не удосужились проекции правильные сделать. Но вот когда дело дойдет до JOINов между большими таблицами (а это без это в DWH никак), вот тут clickhouse просядет.
...
Рейтинг: 0 / 0
09.04.2020, 07:57
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945161
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
Критик


Ну и довольно странной выглядит ситуация - когда объем данных, который льется ежедневно, насолько велик, что нужны новые лицензии (сотни Гб в день?), и при этом у компании нет денег... Я все же предположу, что тут скорее ХД разрабатывали криворучки, или изначально была выбрана в корне неверная архитектура.

ну так обычно растет не ежедневный поток, а скачками. типа допили интеграцию с еще несколькькими системами, купили конкурента, выпилили какое-то локальное dwh для одного из регионов.
...
Рейтинг: 0 / 0
09.04.2020, 08:17
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945164
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
H5N1
Критик


Ну и довольно странной выглядит ситуация - когда объем данных, который льется ежедневно, насолько велик, что нужны новые лицензии (сотни Гб в день?), и при этом у компании нет денег... Я все же предположу, что тут скорее ХД разрабатывали криворучки, или изначально была выбрана в корне неверная архитектура.

ну так обычно растет не ежедневный поток, а скачками. типа допили интеграцию с еще несколькькими системами, купили конкурента, выпилили какое-то локальное dwh для одного из регионов.


А ходить за примерами неправильной архитектуры далеко не надо. Вот по ссылке приведенной выше https://tech.marksblogg.com/benchmarks.html идем и находим.

Большинство ключей varchar, даты не отконвертированы в int. Да и дизайнить таблицу под вертику человек явно не умеет. Этим и объясняется то, что Вертика якобы хуже. Можно было и не делать даже суперахитектуру, а просто дизайн таблицы правильный сделать.

Код: sql
1.
2.
vendor_id               VARCHAR(3),
pickup                  VARCHAR(50),


 
CREATE TABLE trips (
trip_id INTEGER,
vendor_id VARCHAR(3),
pickup_datetime DATETIME,
dropoff_datetime DATETIME,
store_and_fwd_flag VARCHAR(1),
rate_code_id SMALLINT,
pickup_longitude DECIMAL(18,14),
pickup_latitude DECIMAL(18,14),
dropoff_longitude DECIMAL(18,14),
dropoff_latitude DECIMAL(18,14),
passenger_count SMALLINT,
trip_distance DECIMAL(6,3),
fare_amount DECIMAL(6,2),
extra DECIMAL(6,2),
mta_tax DECIMAL(6,2),
tip_amount DECIMAL(6,2),
tolls_amount DECIMAL(6,2),
ehail_fee DECIMAL(6,2),
improvement_surcharge DECIMAL(6,2),
total_amount DECIMAL(6,2),
payment_type VARCHAR(3),
trip_type SMALLINT,
pickup VARCHAR(50),
dropoff VARCHAR(50),

cab_type VARCHAR(6),

precipitation SMALLINT,
snow_depth SMALLINT,
snowfall SMALLINT,
max_temperature SMALLINT,
min_temperature SMALLINT,
average_wind_speed SMALLINT,

pickup_nyct2010_gid SMALLINT,
pickup_ctlabel VARCHAR(10),
pickup_borocode SMALLINT,
pickup_boroname VARCHAR(13),
pickup_ct2010 VARCHAR(6),
pickup_boroct2010 VARCHAR(7),
pickup_cdeligibil VARCHAR(1),
pickup_ntacode VARCHAR(4),
pickup_ntaname VARCHAR(56),
pickup_puma VARCHAR(4),

dropoff_nyct2010_gid SMALLINT,
dropoff_ctlabel VARCHAR(10),
dropoff_borocode SMALLINT,
dropoff_boroname VARCHAR(13),
dropoff_ct2010 VARCHAR(6),
dropoff_boroct2010 VARCHAR(7),
dropoff_cdeligibil VARCHAR(1),
dropoff_ntacode VARCHAR(4),
dropoff_ntaname VARCHAR(56),
dropoff_puma VARCHAR(4)
) ORDER BY pickup_datetime, dropoff_datetime;
...
Рейтинг: 0 / 0
09.04.2020, 08:33
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945242
Фотография Focha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Focha
Участник
Ребят у меня конкретный вопрос.
Куб SSAS, а источник Clickhouse (CH).

Есть дополнительные расчеты в CH, который считаются быстро, а в MSSQL долго.
Есть разница когда считается 1 секунду и 3 минуты.
Тут дело не в архитектуре, а в скорости расчетов.
Таблица одна большая ~200 000 000 строк, пример который я приводил, это уже результат
Код: sql
1.
2.
select count(*)
from Остатки


Запрос там сложный, его оптимизацией заниматься на MSSQL не имеет смысла, так как не возможно получить скорость расчета в 1 сек.
Вы сейчас начнете предлагать варианты как оптимизировать данный расчет, но таких расчетов больше одного и они на CH выполняются ~1сек, для этого CH и используется.

Я знаю, что OLAP любит только MSSQL, но может кто-то пытался изменить мнение OLAP?
...
Рейтинг: 0 / 0
09.04.2020, 12:32
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945245
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Focha

Тут дело не в архитектуре, а в скорости расчетов.
Я знаю, что OLAP любит только MSSQL, но может кто-то пытался изменить мнение OLAP?


Тут дело в первую очередь в архитектуре, а не в выборе БД. "Запрос там сложный, его оптимизацией заниматься на MSSQL не имеет смысла," -- есть смысл выкинуть весь этот запрос к черту и сделать то, что Ральф Кимбалл говорит в книге https://www.kimballgroup.com/data-warehouse-business-intelligence-resources/books/data-warehouse-dw-lifecycle-toolkit/ . Глава"Dimensional Modeling" https://en.wikipedia.org/wiki/Dimensional_modeling

"Я знаю, что OLAP любит только MSSQL" -- я чуть под стол со смеху не упал от такого заявления, если участь что я имею опыт создания SSAS кубов от источников на Вертике, Oracle и MSSQL.
...
Рейтинг: 0 / 0
09.04.2020, 12:43
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945261
Бумбараш
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Бумбараш
Участник
Focha,

спроси в телеге в чате по кликхаусу

t.me/clickhouse_ru
...
Рейтинг: 0 / 0
09.04.2020, 13:07
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945282
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Есть три вопроса, которые надо профильтровать, чтобы сделать куб от ClickHouse

1) Наличие драйвера от SSAS для ClickHouse
2) Cartridge File , который правильно транслирует запрос из SSAS в ClickHouse в MOLAP или ROLAP , что вы собрались делать
3) Возможность проброса DISTINCT COUNT , если вы собираетесь делать его как ROLAP

Кстати select count(*) from Остатки в качестве MDX от MOLAP тоже будет работать за < 1 сек. Отсюда вопрос, что за проблему вы пытается на самом деле решить?
...
Рейтинг: 0 / 0
09.04.2020, 13:37
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945543
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
@Focha,
а подскажите плз
у вас MOLAP в кубе ?
MDM (или табуляр ) ?

и что такое
Проблема с MSSQL, дополнительные вычисления делаются долго,
загрузка в ms-sql происходит долго
или билд куба на основе вьюх MS-SQL ?

или куб сделан на основе вьюх (запросов) к источнику в Click


мне просто хочется понять что все обсуждают
переход с MOLAP на ROLAP с запрсами в Click ?

@a_voronin
а как с правами в кубе в Rolap ?
там ничего не меняется
если права выдалваись через mdx Exists на димы по ролям
(или скажем тупо выставлялись галочками ) ?
...
Рейтинг: 0 / 0
09.04.2020, 18:21
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945687
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Гулин Федор
@a_voronin
а как с правами в кубе в Rolap ?
там ничего не меняется
если права выдалваись через mdx Exists на димы по ролям
(или скажем тупо выставлялись галочками ) ?


а почему вдруг с правами что-то должно поменяться? MOLAP от ROLAP отличается тем, что у первого запросы запускаются во время процессинга, а второй просто транслирует MDX в запрос.
...
Рейтинг: 0 / 0
10.04.2020, 07:46
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945688
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Гулин Федор


мне просто хочется понять что все обсуждают
переход с MOLAP на ROLAP с запрсами в Click ?


ТС решил сделать куб от клика, но четкого пояснения не дал. Предполагаю, что он некоторые группы мер хочет перевести в ROLAP. Отсюда вопрос, возможно ли это.

Я лично не слышал, чтобы от Click делали кубы. Надо просто пробовать.

Вообще у ТС не такой объем данных, чтобы иметь проблемы с производительностью. Потому что MOLAP от правильной модели миллиарды строк переваривает.
...
Рейтинг: 0 / 0
10.04.2020, 07:52
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945729
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
Для кубов нужен oledb драйвер
Для ch есть только odbc
...
Рейтинг: 0 / 0
10.04.2020, 10:54
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945751
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
мигель1,

Заявляется, что табулярка может юзать odbc

* ODBC data sources are not supported for multidimensional solutions. Although Analysis Services itself will handle the connection, the designers in SQL Server Data Tools used for building solutions cannot connect to an ODBC data source, even when using the MSDASQL driver. If your business requirements include an ODBC data source, consider building a Tabular solution instead.
...
Рейтинг: 0 / 0
10.04.2020, 11:24
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945856
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
a_voronin
Гулин Федор
@a_voronin
а как с правами в кубе в Rolap ?
там ничего не меняется
если права выдалваись через mdx Exists на димы по ролям
(или скажем тупо выставлялись галочками ) ?


а почему вдруг с правами что-то должно поменяться? MOLAP от ROLAP отличается тем, что у первого запросы запускаются во время процессинга, а второй просто транслирует MDX в запрос .


@a_voronin
конечно это оффтоп по осн. теме - но все же
можно ссылку на толковое описание
я представляю как mdx рабоатает - и это можно словить через профайлер

т.е допустим у нас есть - ограничения на 2 дима (пусть тупо мемберы галочками помечены)
получается SSAS сам в запросы SQL добавить фильтры на 2 дима
(с учетом даже того что скажем этих 2 димов НЕТ в запросе)
т.е возможно это так (но мне НЕ очевидно)

а если там стоят Exist( ,) - тоже по 2 дименшенам -
т.е он как то тоже должен огранчиить факты по ним - значит тоже добавить в SQL запрос

в принципе - вполне возможно это внутр. механизм (и все работает ОК)
но мне сдается что какие-то грабли могут быть.
У меня на прошлой работе было > 40 ролей - поэтому вот и возник интерес.

PS в ROLAP проверить права через SSMS по спец. кнопке ( Роль или Юзер)
можно ?
(т.е тогда включается что-то типа профайлера на стороне БД - и ловятся запросы )


PPS Увы даже не пощупал ROLAP - подозреваю что для профита нужна какая-то БД оч. быстро выполняющая SQL запросы
типа Vertica ( или возможно Click - но это чисто росс. разработка - меня на собесах в РБ только 1 раз про ее спросили и то я сильно удивился)
...
Рейтинг: 0 / 0
10.04.2020, 14:27
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945888
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Гулин Федор,

Вот пример ROLAP запроса отправленного из SSAS в Вертику.

vertica + SSAS
...
Рейтинг: 0 / 0
10.04.2020, 15:17
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945899
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гулин Федор
Участник
a_voronin,
СПС - интеерсно
по ссылке на форум MSDN
видно что там точно есть свои грабли
(возможно решаемые)
так вопрос к вам
у вас не было заморочек именно с секурити
т.е все корректно по ролям ограничисвалось ?


( про перформанс тоже интересно ) - по идее ограничение в роли на дим
дожно давать меньший резалтсет - и состветственно быстрей выполняться
это верно ??
...
Рейтинг: 0 / 0
10.04.2020, 15:34
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39945925
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Гулин Федор,

Я не делал тогда Security. У нас были просто роли, которые пущали или не пущали в куб.

Но с более детальным разграниченем ролей, буду иметь дело где-то через месяц. Я сейчас делаю куб от вертики для другой компании.

но не совсем понятна ваша обеспокоенномть. RowLevel security просто принудительно добавляет в MDX дополнительный код (+измерение).
...
Рейтинг: 0 / 0
10.04.2020, 17:00
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39946126
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
T87
Участник
a_voronin
Потому что MOLAP от правильной модели миллиарды строк переваривает.

На каком железе?
...
Рейтинг: 0 / 0
11.04.2020, 09:51
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39946326
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
мигель1
Участник
T87,

и если надо поменять измерение?

Что и говорить molap мертвая технология, которая нравится бизнесу, потому что там родной эксель!!
...
Рейтинг: 0 / 0
12.04.2020, 12:51
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39946345
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
T87,

на железе за 600 тыр точно переваривает )
...
Рейтинг: 0 / 0
12.04.2020, 14:03
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #39946496
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
T87,

У наб было что-то вроде 256 Гб пямяти, 64 ядра, и 100+ юзеров. Из 30 групп мер, 5 имели 1 млд + строк. примерно половина 150-400 млн
...
Рейтинг: 0 / 0
13.04.2020, 09:16
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
OLAP(SSAS) & DWH(Clickhouse)
    #40067677
13Q
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13Q
Гость
[quot a_voronin#22113425]
Focha

"Я знаю, что OLAP любит только MSSQL" -- я чуть под стол со смеху не упал от такого заявления, если участь что я имею опыт создания SSAS кубов от источников на Вертике, Oracle и MSSQL.


Можно спросить у вас совета куда копать в моей ситуации? Разворачиваю куб поверх Vertica, создаю источник данных, вижу схему, выбираю нужные элементы - все ок. Затем на источнике данных прошу показать мне данные в вертиковских вьюшках - все ок. но как только собираю куб и пытаюсь его задеплоить - как вылетает ошибка с отказом в доступе. Если все тоже самое проделать - но таблицу предварительно из вертики перетащить в MSSQL сервер - все будет ок, олицетворения и сервисные учетки настроены верно. такое ощущение что именно вертика сбрасывает. Можете что ни будь посоветовать в этой ситуации? Заранее спасибо.
...
Рейтинг: 0 / 0
30.04.2021, 17:33
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #40068088
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
13Q,

Очевидно, что дело в правах.
Используйте аналог profiler для просмотра того, что приходит в вертику и, главное, под каким логином.
...
Рейтинг: 0 / 0
03.05.2021, 14:25
| Ответить | Цитировать | Написать  
OLAP(SSAS) & DWH(Clickhouse)
    #40068293
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Критик
13Q,

Очевидно, что дело в правах.
Используйте аналог profiler для просмотра того, что приходит в вертику и, главное, под каким логином.


Загляните сюда https://www.sql.ru/forum/1164053-1/vertica-ssas

и сюда https://forum.vertica.com/discussion/234042/using-ssas-with-a-vertica-database
...
Рейтинг: 0 / 0
04.05.2021, 12:03
| Ответить | Цитировать | Написать  
38 сообщений из 38, показаны все 2 страниц
  все  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / OLAP(SSAS) & DWH(Clickhouse)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=49&tid=1857146]:
 0ms
get settings:
 9ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 142ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 63ms
get tp. blocked users:
 1ms
others: 300ms
total:  542ms
созд. / загр.: 542ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]