|
|
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
Всем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 11:23 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? А зачем вам этот аттрибут? Что вы с ним потом делаете? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 12:10 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
assmsk, сделать индекс в таблице по этому атрибуту и в качестве источника данных использовать готовую таблицу, а не представление или запрос. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 16:49 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
vborets, а если все таки запрос, то оптимизировать запрос ) пользователям нужны все эти метрики? может имеет смысл отражать эту метрику в кубе только для последнего месяца/года? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 17:21 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями. Ну и постарайтесь избавиться от измерения, которое 1-к-1 к фактам относиться. Вынесите этот функционал из куба куда-нибудь еще. Куб-то предназначен для быстрой агрегации данных, а не для таких извращений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 17:25 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
Попробуйте включить ColumnStore и перевести StorageMode на ROLAP для вашего измерения. Это избавит от необходимости процессировать это измерение. Или HOLAP. Поиграйтесь с кешированием. Ещё вариант поставить для всех мер и измерений ProcessingMode = LazyAgregations - они будут доступны как только были обработаны. А "большое" измерение обрабатывать в самую последнюю очередь. "150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями." + 1. Как то подозрительно много измерений. Попробуйте рассмотреть SSAS работающий в режиме TABULAR Проверьте установлен ли Parallel Process ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2018, 19:14 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг У меня 3 лярда процессилось на 3-4 часа при 40 измерений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.12.2018, 21:55 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг У меня 3 лярда процессилось на 3-4 часа при 40 измерений.[/quot] Какие партиции Вы советуете делать на измерениях? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.12.2018, 16:04 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
Igor.KoДелайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг У меня 3 лярда процессилось на 3-4 часа при 40 измерений. Какие партиции Вы советуете делать на измерениях?[/quot] Никакие -- партиции делаются на группах мер. На измерениях можно сделать бакеты (BUCKETS), но подойдет ли это вам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2018, 15:57 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя. Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту. Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.12.2018, 16:46 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
Alex_496Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя. Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту. Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне. Я все же придерживаюсь мнения, что надо начать с партиционирования групп мер. Если партиция принимает более 15 млн строк (а группа мер это как минимум 1 партиция), то это сильно замедлит процессинг. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2018, 16:44 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
партиционирование MG - само собой разумеющееся. Процессинг MG пролетал очень бодро. Автора интересует ускорение процессинга измерения с большим количеством элементов. По моим наблюдениям чтение данных происходило нормально, а вот дальнейшие операции - уже не так быстро. И да, Process Data и Process Index раздельными шагами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2018, 16:55 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
assmsk, Вынести метрику в отдельную межегруппу. Сделать на таблице фактов индекс по полю include все поля ключи дименшенов. Проанализировать запрос на процесссинг, он должен включать ТОЛЬКО чтение из индекса, не из таблицы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.12.2018, 18:25 |
|
||
|
Ускорение процессинга куба
|
|||
|---|---|---|---|
|
#18+
tarrusassmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? А зачем вам этот аттрибут? Что вы с ним потом делаете? дрил даун небось делают, че еще с ним делать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.12.2018, 13:58 |
|
||
|
|

start [/forum/topic.php?fid=49&gotonew=1&tid=1857705]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
60ms |
get topic data: |
10ms |
get first new msg: |
8ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
| others: | 11ms |
| total: | 176ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...