|
|
|
Большие объёмы данных в SSAS
|
|||
|---|---|---|---|
|
#18+
Добрый день. Проблема следующая, были данные в SSAS, по строкам приблизительно 20млн. Куб нормально работал, полный процессинг приблизительно 2.5 часа. В некоторый момент бизнес попросил "размазать" исходные данные, объём данных вырос приблизительно в 20 раз, приблизительно до полумиллиарда строк. Естественно, время процессинга увеличилось, но не хватает и временной памяти (300гб). Подскажите, можно ли решить эту проблему без изменения уровня детализации куба. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2021, 10:02 |
|
||
|
Большие объёмы данных в SSAS
|
|||
|---|---|---|---|
|
#18+
Виктор Сакович, В SSAS есть средство от этой проблемы - партицирование групп мер. Вы можете разбить группу мер на партиции по какому-то критерию. Это дает следующие возможности:
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2021, 10:08 |
|
||
|
Большие объёмы данных в SSAS
|
|||
|---|---|---|---|
|
#18+
Виктор Сакович, Есть такое понятие как партиции (тогда процессинг идёт по частям), ну и естественно остальные стандартные советы (минимальные типы данных, в кубе только нужное, оптимальная структура и мн. др.). На одном типе кубов это бывает помогает, на другом не сильно.. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2021, 10:10 |
|
||
|
Большие объёмы данных в SSAS
|
|||
|---|---|---|---|
|
#18+
vikkiv,Ferdipux , спасибо за совет. Он понятен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2021, 10:49 |
|
||
|
Большие объёмы данных в SSAS
|
|||
|---|---|---|---|
|
#18+
Ещё вопрос, если делать партиции, там можно скриптом каким-нибудь их генерировать? Скажем, разбиение по неделям по какому-то полю в таблице. Число типа дата понятно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2021, 13:53 |
|
||
|
Большие объёмы данных в SSAS
|
|||
|---|---|---|---|
|
#18+
Виктор Сакович, Да, можно, стандартная практика реализации таких скриптов (с логикой на своё усмотрение) через TOM (для Табличной модели) или AMO (для многомерной) через C#/VB/PowerShell можно и самим с xml/json тужиться - но это не фэншуй. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.02.2021, 15:23 |
|
||
|
|
start [/forum/topic.php?fid=49&fpage=5&tid=1857190]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
34ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
48ms |
get tp. blocked users: |
2ms |
| others: | 249ms |
| total: | 382ms |
| 0 / 0 |
