Гость
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Analysis services. Multidimensional model. / 13 сообщений из 13, страница 1 из 1
08.12.2021, 12:13
    #40118371
Oleon
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Добрый день!

Есть ли какой-то способ перепроцессить в измерении только изменившиеся данные, а не все?
Например, в измерении, 30 млн элементов.
У нас поменялось 100 записей.

Какой самый быстрый способ обновить измерение? Может есть какие-то хитрости?

Спасибо.
...
Рейтинг: 0 / 0
08.12.2021, 12:21
    #40118372
Oleg_SQL
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Oleon,

Всё будет пересчитываться заново.
...
Рейтинг: 0 / 0
08.12.2021, 12:45
    #40118376
Oleon
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Я знаю, что все процессится, но может есть какие-то хитрости, как это обойти.
...
Рейтинг: 0 / 0
08.12.2021, 13:00
    #40118378
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Oleon,

есть.
process update - самый тривиальный. можно прям в студии запускать.
process add - поинтереснее в плане обработки, но нужно немного пописать руками.
push process - просто офигенная но практически не встречающаяся штука, выигрыша относительно add не заметил.
никакого полного процессинга не требуется, и "все" не пересчитывается, как ответили..
...
Рейтинг: 0 / 0
08.12.2021, 16:45
    #40118451
Oleon
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Process Update зачитывает все равно все записи, а потом смотрит, что поменялось, а что нет.

А если Tabular model - там же можно партиции и на измерения создавать?

P.S. Похоже, что я не в тот форум написал вопрос. Нужно было в OLAP and DWH.

Модератор: Тема перенесена из форума "Microsoft SQL Server".
...
Рейтинг: 0 / 0
08.12.2021, 22:31
    #40118535
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Oleon,

В табличной партиции можно создавать на таблицы, а какая условность в таблице: факты или измерения - табличной всё равно.


В многомерной самый быстрый вариант для изменившихся данных в измерении: ProcessFull (т.е. Clear, Data, Index)
т.к. ProcessUpdate - на самом деле самый медленный из всех имеющихся
(затаскивает полностью новые данные, сравнивает с имеющимися, держит обе копии в памяти)
ProcessAdd - только для добавления новых строк, для обновления он не подходит.

Но это в контексте самого измерения,
на уровне куба естественно ProcessFull по измерению в многомерной сбросит все связанные факты.
так что на измерении может и быстрее но на кубе ещё тот вопрос насколько
общий эффект получится выгодным с учётом что придётся факты перепроцесить.
...
Рейтинг: 0 / 0
09.12.2021, 14:00
    #40118612
Nivatu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
ShIgor,
...
push process - просто офигенная но практически не встречающаяся штука, выигрыша относительно add не заметил.

Как эта штука запускается? И почему офигенная?
...
Рейтинг: 0 / 0
09.12.2021, 21:44
    #40118780
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Nivatu,

запускается исключительно через XMLA
офигенная - не требует соединения с источником данных, все содержится в самом XMLA запросе
...
Рейтинг: 0 / 0
10.12.2021, 02:00
    #40118825
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Oleon
в измерении, 30 млн элементов.

ShIgor
все содержится в самом XMLA запросе
...
Рейтинг: 0 / 0
10.12.2021, 09:10
    #40118855
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
vikkiv,
ты, видимо, далеко уже ушел от MD.
я, без сожаления, в нем застрял.

push - для добавления данных, а не обновления...
а потом какая разница сколько? главное чтоб работало.
...
Рейтинг: 0 / 0
10.12.2021, 11:52
    #40118892
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
ShIgor
...далеко уже ушел от MD.
я, без сожаления, в нем застрял.

Oleon
У нас поменялось 100 записей.

А, ну тогда конечно понятно, до сотни записей в xmla в принципе вполне разумно,
хотя мне было-бы проще сделать фейк discontinued источника на заменённом стринге и сделать add с клона таблицы.
в своё время даже пробовал из другого ad-hoc источника добавлять без подмены стрингов соединений в самой базе через out-of-line bindings.

я-бы тоже с удовольствием остался - но рынка практически не осталось под MD уже года как 3, соответственно и с ценой проблемы и со сменой места, но это у нас..
...
Рейтинг: 0 / 0
17.12.2021, 13:57
    #40121030
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Oleon,

Для начала не иметь 30 миллионов в измерении.

Попробуйте ввести бакеты -- может поможет.

Еще можно попробовать поделить измерение на 2. Одно короткое (минимум полей), непосредственно привязанное к группе мер. Другое как reference к первому с остальными данными.
...
Рейтинг: 0 / 0
17.12.2021, 14:31
    #40121047
montoya.
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Analysis services. Multidimensional model.
Oleon
Добрый день!

Есть ли какой-то способ перепроцессить в измерении только изменившиеся данные, а не все?
Например, в измерении, 30 млн элементов.
У нас поменялось 100 записей.

Какой самый быстрый способ обновить измерение? Может есть какие-то хитрости?

Спасибо.


есть у меня кубик с подобным измерением
могу посоветовать максимально всё материализовать в таблицах фактов.
например у тебя есть
КлиентИД
и далее
Категория клиента
Страна
Язык
и т.д.

1. сузь длинный справочник только до минимально необходимого поля
ну т.е. оставь только КлиентИД например(я не могу представить что ещё это может быть, ID транзакции? )
2. во всех таблицах фактов при ETL запиши значения полей(ID) Категория, Страна, Язык.()
или на уровне вьюх сделай материализацию.
3. и сделай Категория, Стара и.д. - отдельными измерениями.

в таком случае нагрузка должна немного уменьшиться.
(если я в правильную сторону подумал.)
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Analysis services. Multidimensional model. / 13 сообщений из 13, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]