powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Партиции по временной оси
10 сообщений из 10, страница 1 из 1
Партиции по временной оси
    #33190071
Stepan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Играюсь с партициями, и вот какой возник вопрос.

У меня есть пропущенные периоды, как в прошлом, так и в будущем (!!!) - какие-то умельцы засунули в базу документы, датированные 2006, 2009, ..., 2034(!) годом.

Как поведет себя куб, если появятся факты с датами из пропущенных периодов?

Как это можно будет обнаружить?

И вообще, есть ли механизм контроля целостности куба на такой случАй?
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190098
Stepan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
И еще в ту же тему:

Если делать инкрементный процессинг, то можно процессить только те периоды (партиции), в которой есть изменения, или обязязательно и все последующие? Они (последующие) у меня практически пустые, процессятся практически мгновенно, но все-таки...
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190122
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StepanИ еще в ту же тему:

Если делать инкрементный процессинг, то можно процессить только те периоды (партиции), в которой есть изменения, или обязязательно и все последующие? Они (последующие) у меня практически пустые, процессятся практически мгновенно, но все-таки...

У вас ошибочное представление о инкрементальном процессинге. При инкрементальном процессинге всегда создается новая партиция, содержащая только данные из таблицы фактов, которые удовлетворяют заданному вами "Where" условию.
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190126
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StepanИграюсь с партициями, и вот какой возник вопрос.

У меня есть пропущенные периоды, как в прошлом, так и в будущем (!!!) - какие-то умельцы засунули в базу документы, датированные 2006, 2009, ..., 2034(!) годом.

Как поведет себя куб, если появятся факты с датами из пропущенных периодов?

Как это можно будет обнаружить?

И вообще, есть ли механизм контроля целостности куба на такой случАй?

Все зависит от того как вы строите измерение времени. Есть ли у вас отдельная таблица измерения времени?
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190152
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вообще, если обнаруживается факт, для которого не удается найти признак в измерении, то MSAS сообщает об ошибке и останавливает процессинг.

Другое дело, что доводить до этого не след. Обычно сразу в ETL такие записи обнаруживают и дальше по регламенту уже (либо скипать, либо править и т.п.)
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190171
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AAronВообще, если обнаруживается факт, для которого не удается найти признак в измерении, то MSAS сообщает об ошибке и останавливает процессинг.


Это по умолчанию, можно и выключить

AAronДругое дело, что доводить до этого не след. Обычно сразу в ETL такие записи обнаруживают и дальше по регламенту уже (либо скипать, либо править и т.п.)

Правильно.
Например, FK в таблице фактов, простейшее и действенное средство.
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190178
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а отключение этой проверки приводит к увеличению скорости процессинга? по идее, должно бы... но есть ли в реальности выигрыш по скорости?
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190195
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AAronа отключение этой проверки приводит к увеличению скорости процессинга? по идее, должно бы... но есть ли в реальности выигрыш по скорости?

Если честно, то ни разу не пробовал.
Как правило основное время при процессинге куба у меня тратится на расчет аггрегаций, а загрузка данных берет не более 25%.
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190264
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно свои 5 коп. по этому поводу.
Видимость/обрабатываемость лихих дат зависит от того как партиции объявлены.
Т.е. если автор жестко определил slice на временной оси то и на сервер пойдет условие исходя из наличия даты в измерении времени.
Ну а если ограничение по фильтру, то возможны и ошибки отсутствующих элементов для фактов.
...
Рейтинг: 0 / 0
Партиции по временной оси
    #33190301
Stepan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
backfireУ вас ошибочное представление о инкрементальном процессинге. При инкрементальном процессинге всегда создается новая партиция, содержащая только данные из таблицы фактов, которые удовлетворяют заданному вами "Where" условию.

Ладно, доживем - увидим ;)))

backfireВсе зависит от того как вы строите измерение времени. Есть ли у вас отдельная таблица измерения времени?

Есть, Журнал документов от 1С

AAronВообще, если обнаруживается факт, для которого не удается найти признак в измерении, то MSAS сообщает об ошибке и останавливает процессинг.

Другое дело, что доводить до этого не след. Обычно сразу в ETL такие записи обнаруживают и дальше по регламенту уже (либо скипать, либо править и т.п.)

Ну, и на том спасибо, а то и потеряться можно... Это шо ж, на бумажке себе записывать, на какие периоды партиции есть, а на какие нет?!! Та я же потеряю ту замусоленную бумажку!...
Надо погонять 1С-ников, шоб вычистили будущие периоды, а то бардак...

Alex FoxМожно свои 5 коп. по этому поводу.
Видимость/обрабатываемость лихих дат зависит от того как партиции объявлены. ...

А ведь точно, учили же на курсах... Ну, пока сам шишку не набьешь, не научишся.

Еще раз всем спасибо за помощь.
...
Рейтинг: 0 / 0
10 сообщений из 10, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Партиции по временной оси
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]