
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
15.11.2018, 11:23
|
|||
|---|---|---|---|
|
|||
Ускорение процессинга куба |
|||
|
#18+
Всем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
15.11.2018, 12:10
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? А зачем вам этот аттрибут? Что вы с ним потом делаете? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
15.11.2018, 16:49
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
assmsk, сделать индекс в таблице по этому атрибуту и в качестве источника данных использовать готовую таблицу, а не представление или запрос. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
15.11.2018, 17:21
|
|||
|---|---|---|---|
|
|||
Ускорение процессинга куба |
|||
|
#18+
vborets, а если все таки запрос, то оптимизировать запрос ) пользователям нужны все эти метрики? может имеет смысл отражать эту метрику в кубе только для последнего месяца/года? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
15.11.2018, 17:25
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями. Ну и постарайтесь избавиться от измерения, которое 1-к-1 к фактам относиться. Вынесите этот функционал из куба куда-нибудь еще. Куб-то предназначен для быстрой агрегации данных, а не для таких извращений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
05.12.2018, 19:14
|
|||
|---|---|---|---|
|
|||
Ускорение процессинга куба |
|||
|
#18+
Попробуйте включить ColumnStore и перевести StorageMode на ROLAP для вашего измерения. Это избавит от необходимости процессировать это измерение. Или HOLAP. Поиграйтесь с кешированием. Ещё вариант поставить для всех мер и измерений ProcessingMode = LazyAgregations - они будут доступны как только были обработаны. А "большое" измерение обрабатывать в самую последнюю очередь. "150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями." + 1. Как то подозрительно много измерений. Попробуйте рассмотреть SSAS работающий в режиме TABULAR Проверьте установлен ли Parallel Process ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
05.12.2018, 21:55
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг У меня 3 лярда процессилось на 3-4 часа при 40 измерений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
06.12.2018, 16:04
|
|||
|---|---|---|---|
|
|||
Ускорение процессинга куба |
|||
|
#18+
Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг У меня 3 лярда процессилось на 3-4 часа при 40 измерений.[/quot] Какие партиции Вы советуете делать на измерениях? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
07.12.2018, 15:57
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
Igor.KoДелайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг У меня 3 лярда процессилось на 3-4 часа при 40 измерений. Какие партиции Вы советуете делать на измерениях?[/quot] Никакие -- партиции делаются на группах мер. На измерениях можно сделать бакеты (BUCKETS), но подойдет ли это вам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
07.12.2018, 16:46
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя. Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту. Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
10.12.2018, 16:44
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
Alex_496Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя. Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту. Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне. Я все же придерживаюсь мнения, что надо начать с партиционирования групп мер. Если партиция принимает более 15 млн строк (а группа мер это как минимум 1 партиция), то это сильно замедлит процессинг. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
10.12.2018, 16:55
|
|||
|---|---|---|---|
Ускорение процессинга куба |
|||
|
#18+
партиционирование MG - само собой разумеющееся. Процессинг MG пролетал очень бодро. Автора интересует ускорение процессинга измерения с большим количеством элементов. По моим наблюдениям чтение данных происходило нормально, а вот дальнейшие операции - уже не так быстро. И да, Process Data и Process Index раздельными шагами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
12.12.2018, 18:25
|
|||
|---|---|---|---|
|
|||
Ускорение процессинга куба |
|||
|
#18+
assmsk, Вынести метрику в отдельную межегруппу. Сделать на таблице фактов индекс по полю include все поля ключи дименшенов. Проанализировать запрос на процесссинг, он должен включать ТОЛЬКО чтение из индекса, не из таблицы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.12.2018, 13:58
|
|||
|---|---|---|---|
|
|||
Ускорение процессинга куба |
|||
|
#18+
tarrusassmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба? А зачем вам этот аттрибут? Что вы с ним потом делаете? дрил даун небось делают, че еще с ним делать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=49&tablet=1&tid=1857705]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
165ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
2ms |
| others: | 10ms |
| total: | 277ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...