powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / настройка параметров обработки куба - ssas2008
23 сообщений из 23, страница 1 из 1
настройка параметров обработки куба - ssas2008
    #37664608
Hellena
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Помогите, пожалуйста, разобраться с некоторыми настройками при процессинге куба. Поскольку кубик потихоньку дорос до нехилых размеров, обрабатывать его целиком уже не вариант. Самая типичная ситуация - когда нужно добавить данные в измерения (например, каждый день добавляются новые товары), и в таблицы фактов (продажи).

Если я сначала обработаю измерение, то потом ssas требует обработки всего куба, а не отдельной секции, хотя новые товары в старых продажах не участвовали, и структурных изменений в измерении никаких не было. Если я обрабатываю только последнюю секцию, у меня не добавляются новые товары :(

Как лучше сделать? Может быть, здесь помог бы параметр настройки "обрабатывать затронутые объекты" (см. http://msdn.microsoft.com/ru-ru/library/ms174774.aspx ), но что-то я с ним запуталась :(
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #37664736
user6278
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hellena,

Нехилые размеры это сколько?

Сколько таблиц фактов в кубе? Есть ли секционирование? За какой период данные обновляются в ХД?

В общем случае сначала делается ProcessUpdate на измерения, затем ProcessFull/ProcessDeafault на нужные секции куба.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #37669215
HellenaЕсли я сначала обработаю измерение, то потом ssas требует обработки всего куба, а не отдельной секции
А это потому, что вы запускаете ProcessFull на измерении. И как следствие, летят все данные по всем группам мер, которые на него ссылаются.

Здесь правильная статья
http://msdn.microsoft.com/en-us/library/ms345142%28v=sql.90%29.aspx

user6278В общем случае сначала делается ProcessUpdate на измерения, затем ProcessFull/ProcessDeafault на нужные секции куба.

Совершенно верно.

Я лично для полной гарантии использую ProcessIndexes а не ProcessDefault по тем секциям где небыло изменения данных в ХД. Не смотря на то, что Николай М ( http://www.sql.ru/forum/actualthread.aspx?tid=910632) и Даррен ( http://social.msdn.microsoft.com/Forums/en-US/sqlanalysisservices/thread/1858b275-b236-47fa-a7e4-35de4c8c3996?prof=required) меня убеждают, что ProcessDefault справится с процессингом всех агрегатов которые не спроцешены, не верю я в это - горький опыт.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #37670312
user6278
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Игорь БобакСовершенно верно.

Я лично для полной гарантии использую ProcessIndexes а не ProcessDefault по тем секциям где небыло изменения данных в ХД. Не смотря на то, что Николай М ( http://www.sql.ru/forum/actualthread.aspx?tid=910632) и Даррен ( http://social.msdn.microsoft.com/Forums/en-US/sqlanalysisservices/thread/1858b275-b236-47fa-a7e4-35de4c8c3996?prof=required) меня убеждают, что ProcessDefault справится с процессингом всех агрегатов которые не спроцешены, не верю я в это - горький опыт. Игорь, а можно про этот момент поподробнее? Что за горький опыт?


HellenaЕсли я сначала обработаю измерение, то потом ssas требует обработки всего куба, а не отдельной секции Добавлю еще несколько ссылок по описанию процессинга:
1.Analysis Services 2005 Processing Architecture - http://msdn.microsoft.com/en-us/library/ms345142.aspx
2. How to process SQL Server 2005 Analysis Services for data availability - http://searchsqlserver.techtarget.com/tip/How-to-process-SQL-Server-2005-Analysis-Services-for-data-availability
3. Processing Objects (XMLA) - http://msdn.microsoft.com/en-us/library/ms187199.aspx
4. SQL Server Best Practices Article - http://technet.microsoft.com/ru-ru/library/cc966525(en-us).aspx
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #37670547
user6278 Игорь, а можно про этот момент поподробнее? Что за горький опыт?
Опыт в том, что ProcessDefault запустил - то что-то там поделал (я к сожалению тогда профайлера не запустил), а потом куб тормозит. Запустил ProcessIndexes повторно - тормоза пропали. Ну что тут говорить... Да, надо было поймать профайлером за одно место. Если бы тогда додумался - поймал бы. Но после этого доверие до ProcessDefault улетучилось начисто.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #37674109
Hellena
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Большое всем спасибо, особенно за статьи! Проблема решилась )
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
настройка параметров обработки куба - ssas2008
    #39293743
Здравствуйте!
Хочу оживить тему, т.к. у меня есть некоторое непонимания как все-таки должен работать обработка по умолчанию . Возможно, кто-то сможет внести ясность, т.к. описание данного вида обработки в справке не до конца мне понятно.

Есть таблица вида
ID Name Date Value1 a 2012-09-01 00:00:00.000 1002 b 2012-09-01 00:00:00.000 1003 b 2012-09-02 00:00:00.000 1504 a 2012-09-07 00:00:00.000 3005 a 2012-09-03 00:00:00.000 3006 c 2012-09-04 00:00:00.000 7007 g 2012-09-05 00:00:00.000 1008 d 2012-09-06 00:00:00.000 100

Колонки Name и Date выступают в качестве измeрений. Value - мера.

Полная обработка выдает правильные результаты.

Затем для строки 2 меняю значение в колонке Name с b -> h и обрабатываю измерение Name через обновление.
Далее пытаюсь через обновление по умолчанию обработать куб и ничего не происходит. Данные в кубе не меняются. Когда запускаю обновление данных , тогда все становится нормально.

В чем все-таки смысл обновления по умолчанию ? Разве оно не должно понять, что появились различия между таблицей фактов и тем, что есть в кубе, и необходимо перестроить измененные данные? Если не ошибаюсь, то именно про это и написано в справке.

Вариант с полной обработкой не очень удобен, т.к. это занимает много времени из-за большого кол-ва реальных данных. Поэтому и хочу от него уйти.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39293871
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Коломиец Юрий
Затем для строки 2 меняю значение в колонке Name с b -> h и обрабатываю измерение Name через обновление.
Далее пытаюсь через обновление по умолчанию обработать куб и ничего не происходит. Данные в кубе не меняются. Когда запускаю обновление данных , тогда все становится нормально.

В чем все-таки смысл обновления по умолчанию ? Разве оно не должно понять, что появились различия между таблицей фактов и тем, что есть в кубе, и необходимо перестроить измененные данные?
Нет, не должно.
ProcessDefault выполняет те действия по процессингу, чтобы перевести объект в состояние Processed. То есть если в кубе, к примеру, есть неотпроцессшеная группа мер, он выполнит ее процессинг. Или для группы мер данные были обновлены через ProcessData, а индексы и агрегаты не были созданы - он их создаст. Или если одно из измерений куба не отпроцессено - отпроцессит его, связанные группы мер и т.п.
Неявно предполагаю что у вас MOLAP. В вашем случае - куб был в состоянии Processed. Если вы сделаете ProcessDefault - процессинг не сделает ничего т.к. куб был в состоянии Processed. Куб не знает что данные в Data Source изменились - это вам нужно понять и объяснить кубу. Как - выдав команду ProcessFull (для вас самое простое) на соответствующую группу мер или просто на весь куб.
За доп. подробностями - по ссылкам выше.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39293910
Ferdipux,

Спасибо за разъяснения. Теперь понятна суть и как надо действовать.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39294032
ProcessDefault к сожалению подымает объект в минимально спроцешенное состояние.
То есть, если данные процесснуты, а индексы нет - он просто не будет себя утруждать что-либо еще делать.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39294053
В таком варианте вижу для себя выход в секционировании помесячно.
Т.к. за предыдущие периоды менять ничего нельзя, то эти данные буду сливать в секцию раз в месяц и запускать полный процессинг. А данные, которые появляются и изменяются в течении месяца будут находиться в отдельной секции и она будет процесситься регулярно. И тут даже не важно, полный будет процессинг секции или только данных. Такие объемы достаточно быстро будут обрабатываться. А измерения будут через обновление.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39294259
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Игорь БобакProcessDefault к сожалению подымает объект в минимально спроцешенное состояние.
То есть, если данные процесснуты, а индексы нет - он просто не будет себя утруждать что-либо еще делать.
Хм, в SSAS 2014 стандартная процедура следующая - партиции с обновлением данных обрабатываются с ProcessData, затем для всех кубов делается ProcessDefault. В процессе тестирования смотрел статус партиций по методике как описано в статье Даррена Госбелла . После ProcessData но до ProcessDefault - агрегаты были не процессшены, после ProcessDefault куба - отпроцессшены.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39294261
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ferdipux,

Уточнение к предыдущему посту - описанная "стандартная процедура в SSAS 2014" - это стандартная процедура процессинга в наших системах, реализованная чере пакеты SSIS, не стандарт "из коробки".
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39294397
Ferdipux,

вот я именно методом Госбела по этой статье проверял агрегаты. Их просто небыло после ProcessDefault.
Поймал за хвост один раз, и второй раз уже не поверю.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39295924
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Игорь Бобак,

Гм, странно...
Поднял Велозавод, сделал на партиции Internet_Sales_2007 агрегатов.
Затем для этой партиции - сделал ProcessData . Результат - вполне ожидаем - на запрос
Код: sql
1.
2.
3.
4.
5.
SELECT * from SYSTEMRESTRICTSCHEMA($system.DISCOVER_PARTITION_STAT 
,DATABASE_NAME = 'AdwWorks2012' 
,CUBE_NAME = 'Adventure Works' 
,MEASURE_GROUP_NAME = 'Internet Sales'
,PARTITION_NAME = 'Internet_Sales_2007')


результат
DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEAGGREGATION_NAMEAGGREGATION_SIZEAdwWorks2012Adventure WorksInternet SalesInternet_Sales_200724438

Далее сделал ProcessDefault для куба Adventure Works. Результат
DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEAGGREGATION_NAMEAGGREGATION_SIZEAdwWorks2012Adventure WorksInternet SalesInternet_Sales_200724438AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 03AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 16AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 26AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 36AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 44AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 56AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 64AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 76AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 812AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 910AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation a6AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation b8AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation c9AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation d7

C индексами - проверял аналогично запросом
Код: sql
1.
2.
3.
4.
5.
SELECT * from SYSTEMRESTRICTSCHEMA($system.DISCOVER_PARTITION_DIMENSION_STAT 
,DATABASE_NAME = 'AdwWorks2012' 
,CUBE_NAME = 'Adventure Works' 
,MEASURE_GROUP_NAME = 'Internet Sales'
,PARTITION_NAME = 'Internet_Sales_2007')


После ProcessData группы мер:
DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEDIMENSION_NAMEATTRIBUTE_NAMEATTRIBUTE_INDEXEDATTRIBUTE_COUNT_MINATTRIBUTE_COUNT_MAXAdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Promotion(All)False00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion CategoryFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotionFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion TypeFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionDiscount PercentFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMax QuantityFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMin QuantityFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionEnd DateFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionStart DateFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales Territory(All)False00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory GroupFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory CountryFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory RegionFalse00
Указаны не все индексы, для краткости.

После ProcessDefault куба.
DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEDIMENSION_NAMEATTRIBUTE_NAMEATTRIBUTE_INDEXEDATTRIBUTE_COUNT_MINATTRIBUTE_COUNT_MAXAdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Promotion(All)False11AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion CategoryTrue34AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotionTrue215AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion TypeTrue47AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionDiscount PercentTrue27AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMax QuantityTrue23AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMin QuantityTrue23AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionEnd DateTrue911AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionStart DateTrue27AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales Territory(All)False11AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory GroupTrue25AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory CountryTrue28AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory RegionTrue211

Мое ХО - ProcessDefault куба вполне процессит отсутствующие индексы и агрегаты.
Сервер - SSAS 12.0.5000.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39296043
AlexBra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
а что делать когда "ProcessUpdate " для измерения (пару раз в неделю) выдает "жесткие связи не могут быть изменены во время добавочной обработки"?
пользователи любят перекроить главный справочник номенклатур ((
приходится делать Full-процесс для измерения, и заново процессить все партиции
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39296122
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AlexBraа что делать когда "ProcessUpdate " для измерения (пару раз в неделю) выдает "жесткие связи не могут быть изменены во время добавочной обработки"?
пользователи любят перекроить главный справочник номенклатур ((
Я бы задумался - а так ли нужны жесткие связи? В связи с особенностями ваших пользователей :)... MS пишет, что иерархии с жесткими связями работают несколько быстрее, и понятно, что процессятся только 1 раз. Но вот насколько быстрее, и стоит ли гемморой с ручным ProcessFull выделки?
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39296193
AlexBra,

жесткие связи у меня всегда только в одном месте - в измерении дат.
в остальных у меня они всегда гибкие, потому что НИКОГДА, НИКОГДА, НИКОГДА не буду доверять пользователям.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
настройка параметров обработки куба - ssas2008
    #39607023
Алекс22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Коллеги, если я делаю для измерение ProcessUpdate
А потом для «исторически новых» партиций ProcessFull
Нмдо все таки делать потом для всего куба ProcessDefault ?

А то это рекомендуются здесь:
https://blog.crossjoin.co.uk/2017/05/17/ssas-multidimensional-are-your-indexes-processed/


И есть ли смысл в замене пересчета партиций - вместо ProcessFull делать ProcessIndesx + ProcessData (это время пересчета ускоряет или что?)
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39607030
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39607230
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Алекс22,

1. Имеет смысл. ProcessDefault строит те индексы, которые невалидированы после ProcessUpdate. Утверждается MS, что ProcessUpdate + process dependent objects процессит все, но - это дольше чем простой ProcUpdate и видел статьи что агрегации он все же пропускает.
2. ProcData и потом ProcIndex - IMHO требует меньше ресурсов, быстрее. Самое главное зачем делается - ProcData вытаскивает данные и куб доступен, но медленно, пока не завершится ProcIndex.
3. Если делаете Proc Data партициям и затем - Proc Default кубу, то Proc Index может быть исключен, Proc Default все равно такие индексы построит.
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39607362
alex2222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ferdipux, Критик,

cпасибо!
...
Рейтинг: 0 / 0
настройка параметров обработки куба - ssas2008
    #39610895
AlexBra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
FerdipuxСамое главное зачем делается - ProcData вытаскивает данные и куб доступен, но медленно, пока не завершится ProcIndex. индексы построит.

если рефы с "апдейтом" + партиции с типом "фул" , то куб тоже в доступе остается

FerdipuxАлекс22,
2. ProcData и потом ProcIndex - IMHO требует меньше ресурсов, быстрее.
переделал, было 30-32 минуты, стало 34-35 минут :(

ну и гемморой с настройкой пакета - с последними апдейтами ВижуалСтудии куча ошибок/багов приходят, один из багов: если настраиваешь пакет с пересчетом, то при добавлении новой партиции, у всех старых (в Taske) слетает настройка типа процессига (((
...
Рейтинг: 0 / 0
23 сообщений из 23, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / настройка параметров обработки куба - ssas2008
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]