|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Добрый день! Есть ли какой-то способ перепроцессить в измерении только изменившиеся данные, а не все? Например, в измерении, 30 млн элементов. У нас поменялось 100 записей. Какой самый быстрый способ обновить измерение? Может есть какие-то хитрости? Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2021, 12:13 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Oleon, Всё будет пересчитываться заново. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2021, 12:21 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Я знаю, что все процессится, но может есть какие-то хитрости, как это обойти. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2021, 12:45 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Oleon, есть. process update - самый тривиальный. можно прям в студии запускать. process add - поинтереснее в плане обработки, но нужно немного пописать руками. push process - просто офигенная но практически не встречающаяся штука, выигрыша относительно add не заметил. никакого полного процессинга не требуется, и "все" не пересчитывается, как ответили.. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2021, 13:00 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Process Update зачитывает все равно все записи, а потом смотрит, что поменялось, а что нет. А если Tabular model - там же можно партиции и на измерения создавать? P.S. Похоже, что я не в тот форум написал вопрос. Нужно было в OLAP and DWH. Модератор: Тема перенесена из форума "Microsoft SQL Server". ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2021, 16:45 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Oleon, В табличной партиции можно создавать на таблицы, а какая условность в таблице: факты или измерения - табличной всё равно. В многомерной самый быстрый вариант для изменившихся данных в измерении: ProcessFull (т.е. Clear, Data, Index) т.к. ProcessUpdate - на самом деле самый медленный из всех имеющихся (затаскивает полностью новые данные, сравнивает с имеющимися, держит обе копии в памяти) ProcessAdd - только для добавления новых строк, для обновления он не подходит. Но это в контексте самого измерения, на уровне куба естественно ProcessFull по измерению в многомерной сбросит все связанные факты. так что на измерении может и быстрее но на кубе ещё тот вопрос насколько общий эффект получится выгодным с учётом что придётся факты перепроцесить. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2021, 22:31 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
ShIgor, ... push process - просто офигенная но практически не встречающаяся штука, выигрыша относительно add не заметил. Как эта штука запускается? И почему офигенная? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.12.2021, 14:00 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Nivatu, запускается исключительно через XMLA офигенная - не требует соединения с источником данных, все содержится в самом XMLA запросе ... |
|||
:
Нравится:
Не нравится:
|
|||
09.12.2021, 21:44 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Oleon в измерении, 30 млн элементов. ShIgor все содержится в самом XMLA запросе ... |
|||
:
Нравится:
Не нравится:
|
|||
10.12.2021, 02:00 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
vikkiv, ты, видимо, далеко уже ушел от MD. я, без сожаления, в нем застрял. push - для добавления данных, а не обновления... а потом какая разница сколько? главное чтоб работало. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.12.2021, 09:10 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
ShIgor ...далеко уже ушел от MD. я, без сожаления, в нем застрял. Oleon У нас поменялось 100 записей. А, ну тогда конечно понятно, до сотни записей в xmla в принципе вполне разумно, хотя мне было-бы проще сделать фейк discontinued источника на заменённом стринге и сделать add с клона таблицы. в своё время даже пробовал из другого ad-hoc источника добавлять без подмены стрингов соединений в самой базе через out-of-line bindings. я-бы тоже с удовольствием остался - но рынка практически не осталось под MD уже года как 3, соответственно и с ценой проблемы и со сменой места, но это у нас.. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.12.2021, 11:52 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Oleon, Для начала не иметь 30 миллионов в измерении. Попробуйте ввести бакеты -- может поможет. Еще можно попробовать поделить измерение на 2. Одно короткое (минимум полей), непосредственно привязанное к группе мер. Другое как reference к первому с остальными данными. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2021, 13:57 |
|
Analysis services. Multidimensional model.
|
|||
---|---|---|---|
#18+
Oleon Добрый день! Есть ли какой-то способ перепроцессить в измерении только изменившиеся данные, а не все? Например, в измерении, 30 млн элементов. У нас поменялось 100 записей. Какой самый быстрый способ обновить измерение? Может есть какие-то хитрости? Спасибо. есть у меня кубик с подобным измерением могу посоветовать максимально всё материализовать в таблицах фактов. например у тебя есть КлиентИД и далее Категория клиента Страна Язык и т.д. 1. сузь длинный справочник только до минимально необходимого поля ну т.е. оставь только КлиентИД например(я не могу представить что ещё это может быть, ID транзакции? ) 2. во всех таблицах фактов при ETL запиши значения полей(ID) Категория, Страна, Язык.() или на уровне вьюх сделай материализацию. 3. и сделай Категория, Стара и.д. - отдельными измерениями. в таком случае нагрузка должна немного уменьшиться. (если я в правильную сторону подумал.) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2021, 14:31 |
|
|
start [/forum/topic.php?fid=49&tid=1857051]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
47ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
2ms |
others: | 242ms |
total: | 392ms |
0 / 0 |