powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение процессинга куба
14 сообщений из 14, страница 1 из 1
Ускорение процессинга куба
    #39733372
assmsk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39733404
tarrus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?

А зачем вам этот аттрибут? Что вы с ним потом делаете?
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39733675
vborets
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
assmsk,

сделать индекс в таблице по этому атрибуту и в качестве источника данных использовать готовую таблицу, а не представление или запрос.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39733699
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vborets,

а если все таки запрос, то оптимизировать запрос )

пользователям нужны все эти метрики? может имеет смысл отражать эту метрику в кубе только для последнего месяца/года?
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39733702
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями.
Ну и постарайтесь избавиться от измерения, которое 1-к-1 к фактам относиться. Вынесите этот функционал из куба куда-нибудь еще. Куб-то предназначен для быстрой агрегации данных, а не для таких извращений.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39743066
Igor.Ko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Попробуйте включить ColumnStore и перевести StorageMode на ROLAP для вашего измерения. Это избавит от необходимости процессировать это измерение. Или HOLAP. Поиграйтесь с кешированием.

Ещё вариант поставить для всех мер и измерений ProcessingMode = LazyAgregations - они будут доступны как только были обработаны.

А "большое" измерение обрабатывать в самую последнюю очередь.

"150 измерений - это крайне странно, есть подозрение, что у вас атибуты сделаны измерениями." + 1. Как то подозрительно много измерений.

Попробуйте рассмотреть SSAS работающий в режиме TABULAR

Проверьте установлен ли Parallel Process
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39743159
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
assmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?


Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг

У меня 3 лярда процессилось на 3-4 часа при 40 измерений.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39743636
Igor.Ko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Делайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг

У меня 3 лярда процессилось на 3-4 часа при 40 измерений.[/quot]

Какие партиции Вы советуете делать на измерениях?
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39744393
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Igor.KoДелайте партиции. Правильно, с проставленными slice. Это ускорит процессинг, ускорит в первуцю очередь ПОЛНЫЙ процессинг

У меня 3 лярда процессилось на 3-4 часа при 40 измерений.

Какие партиции Вы советуете делать на измерениях?[/quot]

Никакие -- партиции делаются на группах мер.

На измерениях можно сделать бакеты (BUCKETS), но подойдет ли это вам.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39744451
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя.

Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту.

Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39745475
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alex_496Разобраться со структурой измерений. Уверен, можно сократить количество измерений, объединив несколько существующих в одно. В измерениях чем больше атрибутов распределено по натуральным иерархиям (особенно с высоким коэффициентом подчиненности), тем лучше. Но это предъявляет требование к качеству данных: элементы должны иметь одного родителя.

Если остается действительно большое измерение, например, Клиенты (половина страны), то тем более создавать иерархии и точечно DrillDown при обязательно выставленном фильтре по другому атрибуту.

Хотя и понимаю, пользователям хочется и удобно спускаться на детальный уровень и получать широкие таблицы. Но тут разъяснять - зачем возводить в куб данные, чтобы тусоваться на детальном уровне.

Я все же придерживаюсь мнения, что надо начать с партиционирования групп мер. Если партиция принимает более 15 млн строк (а группа мер это как минимум 1 партиция), то это сильно замедлит процессинг.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39745484
Фотография Alex_496
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
партиционирование MG - само собой разумеющееся.
Процессинг MG пролетал очень бодро.

Автора интересует ускорение процессинга измерения с большим количеством элементов.
По моим наблюдениям чтение данных происходило нормально, а вот дальнейшие операции - уже не так быстро.
И да, Process Data и Process Index раздельными шагами.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39746881
OR
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
OR
Гость
assmsk,

Вынести метрику в отдельную межегруппу.
Сделать на таблице фактов индекс по полю include все поля ключи дименшенов.
Проанализировать запрос на процесссинг, он должен включать ТОЛЬКО чтение из индекса, не из таблицы.
...
Рейтинг: 0 / 0
Ускорение процессинга куба
    #39747375
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
tarrusassmskВсем привет. Имеется куб ~ на 100 млн записей + 1млн в неделю. Порядка 150 измерений. Все бы ничего кроме 1 метрики которая является уникальной для каждой строки, те если в фактовой таблице 100 млн записей, то для данного измерения будет 100 млн уникальных значений атрибута. Из за этого измерения куб процессится люто долго, так как его раз в неделю нужно полностью перепроцессшивать потому что в нем нет константных измерений и все может поменяться. Что можно сделать в такой ситуации чтобы ускорить процессинг куба?

А зачем вам этот аттрибут? Что вы с ним потом делаете?
дрил даун небось делают, че еще с ним делать
...
Рейтинг: 0 / 0
14 сообщений из 14, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Ускорение процессинга куба
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]