Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Оптимизация больших измерений. / 6 сообщений из 6, страница 1 из 1
14.02.2019, 23:15
    #39774159
Oleon
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация больших измерений.
Есть измерение, которое содержит 13 миллионов зарегистрированных клиентов.
Из них 8% совершили какие-то действия и по ним есть основные факты (кроме регистрации). Пользователям иногда нужно вытащить электронные адреса зарегистрировавшихся, чтобы контактировать с ними, поэтому совсем их убрать из куба нельзя.

Всего в измерении 87 атрибутов:
59 - заполняются для всех клиентов
29 - только для тех, кто совершил, что-то кроме регистрации.

Атрибуты для 92% клиентов никогда не изменятся, атрибуты для остальных 8% клиентов могут меняться.
Так как измерение одно, то приходится каждый день делать Process Update всего измерения.

Есть ли какие-то подходы, чтобы оптимизировать такую структуру?
Например: Вынести атрибуты в отдельные измерения, сократив количество атрибутов в измерении, но придется каждую группу мер вязать с этим измерением и править все представления для группы мер.

Как-то разделить клиентов на два измерения? Но как это может потом работать.
...
Рейтинг: 0 / 0
15.02.2019, 09:42
    #39774232
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация больших измерений.
Oleon,

13 млн. это не так много.
Коль такое количество атрибутов, то, скорее всего, их можно скомпоновать в натуральные иерархии.
2 иерархии точно: 1 - ФИО, 2 - даты рождения.
При условии Д.р. в фильтр DrillDown по ФИО работает хорошо, проверял на 59 млн. клиентов.
Ключи атрибутов - целочисленные.

Вертикально разделить на 2 измерение - нужно пробовать и сравнивать производительность.

электронные адреса и им подобные комметарного типа поля --> в свойства атрибутов.

Process Update попробуйте заменить на Full Process. Процессинг таблиц фактов - разделите на Process Data и Process Index

Скорострельность View должна быть высокая, лучше агрегатную денормализованную таблицу по клиентам
...
Рейтинг: 0 / 0
15.02.2019, 10:32
    #39774267
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация больших измерений.
Alex_496Process Update попробуйте заменить на Full Process.
насколько знаю, сильно время пересчета это не ускоряет, но куб статовится недоступным и требует обязательного пересчета

по остальному все правильно. пробуйте . если убираете разные атрибуты в отдельные маленькие измерения - насколько это уменьшит время и прочая
...
Рейтинг: 0 / 0
15.02.2019, 13:07
    #39774422
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация больших измерений.
StarikNavy,

под боевым напряжением стоит другой куб.
full process измерения не влияет на
process data, нужно выполнить только process index
...
Рейтинг: 0 / 0
15.02.2019, 16:35
    #39774644
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация больших измерений.
Alex_496,

>>под боевым напряжением стоит другой куб.
у вас, или у тс? )
...
Рейтинг: 0 / 0
15.02.2019, 19:25
    #39774749
Alex_496
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оптимизация больших измерений.
StarikNavy,

у нас
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Оптимизация больших измерений. / 6 сообщений из 6, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]