powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Analysis services. Multidimensional model.
13 сообщений из 13, страница 1 из 1
Analysis services. Multidimensional model.
    #40118371
Oleon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день!

Есть ли какой-то способ перепроцессить в измерении только изменившиеся данные, а не все?
Например, в измерении, 30 млн элементов.
У нас поменялось 100 записей.

Какой самый быстрый способ обновить измерение? Может есть какие-то хитрости?

Спасибо.
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118372
Oleg_SQL
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Oleon,

Всё будет пересчитываться заново.
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118376
Oleon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я знаю, что все процессится, но может есть какие-то хитрости, как это обойти.
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118378
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oleon,

есть.
process update - самый тривиальный. можно прям в студии запускать.
process add - поинтереснее в плане обработки, но нужно немного пописать руками.
push process - просто офигенная но практически не встречающаяся штука, выигрыша относительно add не заметил.
никакого полного процессинга не требуется, и "все" не пересчитывается, как ответили..
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118451
Oleon
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Process Update зачитывает все равно все записи, а потом смотрит, что поменялось, а что нет.

А если Tabular model - там же можно партиции и на измерения создавать?

P.S. Похоже, что я не в тот форум написал вопрос. Нужно было в OLAP and DWH.

Модератор: Тема перенесена из форума "Microsoft SQL Server".
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118535
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oleon,

В табличной партиции можно создавать на таблицы, а какая условность в таблице: факты или измерения - табличной всё равно.


В многомерной самый быстрый вариант для изменившихся данных в измерении: ProcessFull (т.е. Clear, Data, Index)
т.к. ProcessUpdate - на самом деле самый медленный из всех имеющихся
(затаскивает полностью новые данные, сравнивает с имеющимися, держит обе копии в памяти)
ProcessAdd - только для добавления новых строк, для обновления он не подходит.

Но это в контексте самого измерения,
на уровне куба естественно ProcessFull по измерению в многомерной сбросит все связанные факты.
так что на измерении может и быстрее но на кубе ещё тот вопрос насколько
общий эффект получится выгодным с учётом что придётся факты перепроцесить.
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118612
Nivatu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ShIgor,
...
push process - просто офигенная но практически не встречающаяся штука, выигрыша относительно add не заметил.

Как эта штука запускается? И почему офигенная?
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118780
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nivatu,

запускается исключительно через XMLA
офигенная - не требует соединения с источником данных, все содержится в самом XMLA запросе
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118825
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oleon
в измерении, 30 млн элементов.

ShIgor
все содержится в самом XMLA запросе
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118855
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkiv,
ты, видимо, далеко уже ушел от MD.
я, без сожаления, в нем застрял.

push - для добавления данных, а не обновления...
а потом какая разница сколько? главное чтоб работало.
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40118892
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShIgor
...далеко уже ушел от MD.
я, без сожаления, в нем застрял.

Oleon
У нас поменялось 100 записей.

А, ну тогда конечно понятно, до сотни записей в xmla в принципе вполне разумно,
хотя мне было-бы проще сделать фейк discontinued источника на заменённом стринге и сделать add с клона таблицы.
в своё время даже пробовал из другого ad-hoc источника добавлять без подмены стрингов соединений в самой базе через out-of-line bindings.

я-бы тоже с удовольствием остался - но рынка практически не осталось под MD уже года как 3, соответственно и с ценой проблемы и со сменой места, но это у нас..
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40121030
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Oleon,

Для начала не иметь 30 миллионов в измерении.

Попробуйте ввести бакеты -- может поможет.

Еще можно попробовать поделить измерение на 2. Одно короткое (минимум полей), непосредственно привязанное к группе мер. Другое как reference к первому с остальными данными.
...
Рейтинг: 0 / 0
Analysis services. Multidimensional model.
    #40121047
montoya.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Oleon
Добрый день!

Есть ли какой-то способ перепроцессить в измерении только изменившиеся данные, а не все?
Например, в измерении, 30 млн элементов.
У нас поменялось 100 записей.

Какой самый быстрый способ обновить измерение? Может есть какие-то хитрости?

Спасибо.


есть у меня кубик с подобным измерением
могу посоветовать максимально всё материализовать в таблицах фактов.
например у тебя есть
КлиентИД
и далее
Категория клиента
Страна
Язык
и т.д.

1. сузь длинный справочник только до минимально необходимого поля
ну т.е. оставь только КлиентИД например(я не могу представить что ещё это может быть, ID транзакции? )
2. во всех таблицах фактов при ETL запиши значения полей(ID) Категория, Страна, Язык.()
или на уровне вьюх сделай материализацию.
3. и сделай Категория, Стара и.д. - отдельными измерениями.

в таком случае нагрузка должна немного уменьшиться.
(если я в правильную сторону подумал.)
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Analysis services. Multidimensional model.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (8): Анонимы (5), Google Bot, Bing Bot 1 мин., Yandex Bot 3 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]