Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение процессинга куба / 14 сообщений из 14, страница 1 из 1
15.11.2018, 11:23
    #39733372
assmsk
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
Всем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?
...
Рейтинг: 0 / 0
15.11.2018, 12:10
    #39733404
tarrus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?

А зачем вам этот аттрибут? Что вы с ним потом делаете?
...
Рейтинг: 0 / 0
15.11.2018, 16:49
    #39733675
vborets
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
assmsk,

сделать индекс в таблице по этому атрибуту и в качестве источника данных использовать готовую таблицу, а не представление или запрос.
...
Рейтинг: 0 / 0
15.11.2018, 17:21
    #39733699
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
vborets,

а если все таки запрос, то оптимизировать запрос )

пользователям нужны все эти метрики? может имеет смысл отражать эту метрику в кубе только для последнего месяца/года?
...
Рейтинг: 0 / 0
15.11.2018, 17:25
    #39733702
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями.
Ну и постарайтесь избавиться от измерения, которое 1-к-1 к фактам относиться. Вынесите этот функционал из куба куда-нибудь еще. Куб-то предназначен для быстрой агрегации данных, а не для таких извращений.
...
Рейтинг: 0 / 0
05.12.2018, 19:14
    #39743066
Igor.Ko
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
Попробуйте включить ColumnStore и перевести StorageMode на ROLAP для вашего измерения. Это избавит от необходимости процессировать это измерение. Или HOLAP. Поиграйтесь с кешированием.

Ещё вариант поставить для всех мер и измерений ProcessingMode = LazyAgregations - они будут доступны как только были обработаны.

А "большое" измерение обрабатывать в самую последнюю очередь.

"150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями." + 1. Как то подозрительно много измерений.

Попробуйте рассмотреть SSAS работающий в режиме TABULAR

Проверьте установлен ли Parallel Process
...
Рейтинг: 0 / 0
05.12.2018, 21:55
    #39743159
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?


Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг

У меня 3 лярда процессилось на 3-4 часа при 40 измерений.
...
Рейтинг: 0 / 0
06.12.2018, 16:04
    #39743636
Igor.Ko
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг

У меня 3 лярда процессилось на 3-4 часа при 40 измерений.[/quot]

Какие партиции Вы советуете делать на измерениях?
...
Рейтинг: 0 / 0
07.12.2018, 15:57
    #39744393
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
Igor.KoДелайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг

У меня 3 лярда процессилось на 3-4 часа при 40 измерений.

Какие партиции Вы советуете делать на измерениях?[/quot]

Никакие -- партиции делаются на группах мер.

На измерениях можно сделать бакеты (BUCKETS), но подойдет ли это вам.
...
Рейтинг: 0 / 0
07.12.2018, 16:46
    #39744451
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя.

Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту.

Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне.
...
Рейтинг: 0 / 0
10.12.2018, 16:44
    #39745475
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
Alex_496Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя.

Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту.

Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне.

Я все же придерживаюсь мнения, что надо начать с партиционирования групп мер. Если партиция принимает более 15 млн строк (а группа мер это как минимум 1 партиция), то это сильно замедлит процессинг.
...
Рейтинг: 0 / 0
10.12.2018, 16:55
    #39745484
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
партиционирование MG - само собой разумеющееся.
Процессинг MG пролетал очень бодро.

Автора интересует ускорение процессинга измерения с большим количеством элементов.
По моим наблюдениям чтение данных происходило нормально, а вот дальнейшие операции - уже не так быстро.
И да, Process Data и Process Index раздельными шагами.
...
Рейтинг: 0 / 0
12.12.2018, 18:25
    #39746881
OR
OR
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
assmsk,

Вынести метрику в отдельную межегруппу.
Сделать на таблице фактов индекс по полю include все поля ключи дименшенов.
Проанализировать запрос на процесссинг, он должен включать ТОЛЬКО чтение из индекса, не из таблицы.
...
Рейтинг: 0 / 0
13.12.2018, 13:58
    #39747375
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ускорение процессинга куба
tarrusassmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?

А зачем вам этот аттрибут? Что вы с ним потом делаете?
дрил даун небось делают, че еще с ним делать
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение процессинга куба / 14 сообщений из 14, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]