|
|
|
Оптимизация больших измерений.
|
|||
|---|---|---|---|
|
#18+
Есть измерение, которое содержит 13 миллионов зарегистрированных клиентов. Из них 8% совершили какие-то действия и по ним есть основные факты (кроме регистрации). Пользователям иногда нужно вытащить электронные адреса зарегистрировавшихся, чтобы контактировать с ними, поэтому совсем их убрать из куба нельзя. Всего в измерении 87 атрибутов: 59 - заполняются для всех клиентов 29 - только для тех, кто совершил, что-то кроме регистрации. Атрибуты для 92% клиентов никогда не изменятся, атрибуты для остальных 8% клиентов могут меняться. Так как измерение одно, то приходится каждый день делать Process Update всего измерения. Есть ли какие-то подходы, чтобы оптимизировать такую структуру? Например: Вынести атрибуты в отдельные измерения, сократив количество атрибутов в измерении, но придется каждую группу мер вязать с этим измерением и править все представления для группы мер. Как-то разделить клиентов на два измерения? Но как это может потом работать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.02.2019, 23:15 |
|
||
|
Оптимизация больших измерений.
|
|||
|---|---|---|---|
|
#18+
Oleon, 13 млн. это не так много. Коль такое количество атрибутов, то, скорее всего, их можно скомпоновать в натуральные иерархии. 2 иерархии точно: 1 - ФИО, 2 - даты рождения. При условии Д.р. в фильтр DrillDown по ФИО работает хорошо, проверял на 59 млн. клиентов. Ключи атрибутов - целочисленные. Вертикально разделить на 2 измерение - нужно пробовать и сравнивать производительность. электронные адреса и им подобные комметарного типа поля --> в свойства атрибутов. Process Update попробуйте заменить на Full Process. Процессинг таблиц фактов - разделите на Process Data и Process Index Скорострельность View должна быть высокая, лучше агрегатную денормализованную таблицу по клиентам ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2019, 09:42 |
|
||
|
Оптимизация больших измерений.
|
|||
|---|---|---|---|
|
#18+
Alex_496Process Update попробуйте заменить на Full Process. насколько знаю, сильно время пересчета это не ускоряет, но куб статовится недоступным и требует обязательного пересчета по остальному все правильно. пробуйте . если убираете разные атрибуты в отдельные маленькие измерения - насколько это уменьшит время и прочая ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2019, 10:32 |
|
||
|
Оптимизация больших измерений.
|
|||
|---|---|---|---|
|
#18+
StarikNavy, под боевым напряжением стоит другой куб. full process измерения не влияет на process data, нужно выполнить только process index ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2019, 13:07 |
|
||
|
Оптимизация больших измерений.
|
|||
|---|---|---|---|
|
#18+
Alex_496, >>под боевым напряжением стоит другой куб. у вас, или у тс? ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2019, 16:35 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39774267&tid=1857656]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
163ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
1ms |
| others: | 13ms |
| total: | 271ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...