|
|
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Добрый день! Помогите, пожалуйста, разобраться с некоторыми настройками при процессинге куба. Поскольку кубик потихоньку дорос до нехилых размеров, обрабатывать его целиком уже не вариант. Самая типичная ситуация - когда нужно добавить данные в измерения (например, каждый день добавляются новые товары), и в таблицы фактов (продажи). Если я сначала обработаю измерение, то потом ssas требует обработки всего куба, а не отдельной секции, хотя новые товары в старых продажах не участвовали, и структурных изменений в измерении никаких не было. Если я обрабатываю только последнюю секцию, у меня не добавляются новые товары :( Как лучше сделать? Может быть, здесь помог бы параметр настройки "обрабатывать затронутые объекты" (см. http://msdn.microsoft.com/ru-ru/library/ms174774.aspx ), но что-то я с ним запуталась :( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2012, 10:39 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Hellena, Нехилые размеры это сколько? Сколько таблиц фактов в кубе? Есть ли секционирование? За какой период данные обновляются в ХД? В общем случае сначала делается ProcessUpdate на измерения, затем ProcessFull/ProcessDeafault на нужные секции куба. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.02.2012, 11:30 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
HellenaЕсли я сначала обработаю измерение, то потом ssas требует обработки всего куба, а не отдельной секции А это потому, что вы запускаете ProcessFull на измерении. И как следствие, летят все данные по всем группам мер, которые на него ссылаются. Здесь правильная статья http://msdn.microsoft.com/en-us/library/ms345142%28v=sql.90%29.aspx user6278В общем случае сначала делается ProcessUpdate на измерения, затем ProcessFull/ProcessDeafault на нужные секции куба. Совершенно верно. Я лично для полной гарантии использую ProcessIndexes а не ProcessDefault по тем секциям где небыло изменения данных в ХД. Не смотря на то, что Николай М ( http://www.sql.ru/forum/actualthread.aspx?tid=910632) и Даррен ( http://social.msdn.microsoft.com/Forums/en-US/sqlanalysisservices/thread/1858b275-b236-47fa-a7e4-35de4c8c3996?prof=required) меня убеждают, что ProcessDefault справится с процессингом всех агрегатов которые не спроцешены, не верю я в это - горький опыт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.02.2012, 14:53 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Игорь БобакСовершенно верно. Я лично для полной гарантии использую ProcessIndexes а не ProcessDefault по тем секциям где небыло изменения данных в ХД. Не смотря на то, что Николай М ( http://www.sql.ru/forum/actualthread.aspx?tid=910632) и Даррен ( http://social.msdn.microsoft.com/Forums/en-US/sqlanalysisservices/thread/1858b275-b236-47fa-a7e4-35de4c8c3996?prof=required) меня убеждают, что ProcessDefault справится с процессингом всех агрегатов которые не спроцешены, не верю я в это - горький опыт. Игорь, а можно про этот момент поподробнее? Что за горький опыт? HellenaЕсли я сначала обработаю измерение, то потом ssas требует обработки всего куба, а не отдельной секции Добавлю еще несколько ссылок по описанию процессинга: 1.Analysis Services 2005 Processing Architecture - http://msdn.microsoft.com/en-us/library/ms345142.aspx 2. How to process SQL Server 2005 Analysis Services for data availability - http://searchsqlserver.techtarget.com/tip/How-to-process-SQL-Server-2005-Analysis-Services-for-data-availability 3. Processing Objects (XMLA) - http://msdn.microsoft.com/en-us/library/ms187199.aspx 4. SQL Server Best Practices Article - http://technet.microsoft.com/ru-ru/library/cc966525(en-us).aspx ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.02.2012, 13:55 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
user6278 Игорь, а можно про этот момент поподробнее? Что за горький опыт? Опыт в том, что ProcessDefault запустил - то что-то там поделал (я к сожалению тогда профайлера не запустил), а потом куб тормозит. Запустил ProcessIndexes повторно - тормоза пропали. Ну что тут говорить... Да, надо было поймать профайлером за одно место. Если бы тогда додумался - поймал бы. Но после этого доверие до ProcessDefault улетучилось начисто. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.02.2012, 15:29 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Большое всем спасибо, особенно за статьи! Проблема решилась ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.02.2012, 11:57 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Здравствуйте! Хочу оживить тему, т.к. у меня есть некоторое непонимания как все-таки должен работать обработка по умолчанию . Возможно, кто-то сможет внести ясность, т.к. описание данного вида обработки в справке не до конца мне понятно. Есть таблица вида ID Name Date Value1 a 2012-09-01 00:00:00.000 1002 b 2012-09-01 00:00:00.000 1003 b 2012-09-02 00:00:00.000 1504 a 2012-09-07 00:00:00.000 3005 a 2012-09-03 00:00:00.000 3006 c 2012-09-04 00:00:00.000 7007 g 2012-09-05 00:00:00.000 1008 d 2012-09-06 00:00:00.000 100 Колонки Name и Date выступают в качестве измeрений. Value - мера. Полная обработка выдает правильные результаты. Затем для строки 2 меняю значение в колонке Name с b -> h и обрабатываю измерение Name через обновление. Далее пытаюсь через обновление по умолчанию обработать куб и ничего не происходит. Данные в кубе не меняются. Когда запускаю обновление данных , тогда все становится нормально. В чем все-таки смысл обновления по умолчанию ? Разве оно не должно понять, что появились различия между таблицей фактов и тем, что есть в кубе, и необходимо перестроить измененные данные? Если не ошибаюсь, то именно про это и написано в справке. Вариант с полной обработкой не очень удобен, т.к. это занимает много времени из-за большого кол-ва реальных данных. Поэтому и хочу от него уйти. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2016, 10:37 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Коломиец Юрий Затем для строки 2 меняю значение в колонке Name с b -> h и обрабатываю измерение Name через обновление. Далее пытаюсь через обновление по умолчанию обработать куб и ничего не происходит. Данные в кубе не меняются. Когда запускаю обновление данных , тогда все становится нормально. В чем все-таки смысл обновления по умолчанию ? Разве оно не должно понять, что появились различия между таблицей фактов и тем, что есть в кубе, и необходимо перестроить измененные данные? Нет, не должно. ProcessDefault выполняет те действия по процессингу, чтобы перевести объект в состояние Processed. То есть если в кубе, к примеру, есть неотпроцессшеная группа мер, он выполнит ее процессинг. Или для группы мер данные были обновлены через ProcessData, а индексы и агрегаты не были созданы - он их создаст. Или если одно из измерений куба не отпроцессено - отпроцессит его, связанные группы мер и т.п. Неявно предполагаю что у вас MOLAP. В вашем случае - куб был в состоянии Processed. Если вы сделаете ProcessDefault - процессинг не сделает ничего т.к. куб был в состоянии Processed. Куб не знает что данные в Data Source изменились - это вам нужно понять и объяснить кубу. Как - выдав команду ProcessFull (для вас самое простое) на соответствующую группу мер или просто на весь куб. За доп. подробностями - по ссылкам выше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2016, 13:05 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Ferdipux, Спасибо за разъяснения. Теперь понятна суть и как надо действовать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2016, 13:55 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
ProcessDefault к сожалению подымает объект в минимально спроцешенное состояние. То есть, если данные процесснуты, а индексы нет - он просто не будет себя утруждать что-либо еще делать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2016, 16:07 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
В таком варианте вижу для себя выход в секционировании помесячно. Т.к. за предыдущие периоды менять ничего нельзя, то эти данные буду сливать в секцию раз в месяц и запускать полный процессинг. А данные, которые появляются и изменяются в течении месяца будут находиться в отдельной секции и она будет процесситься регулярно. И тут даже не важно, полный будет процессинг секции или только данных. Такие объемы достаточно быстро будут обрабатываться. А измерения будут через обновление. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2016, 16:30 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Игорь БобакProcessDefault к сожалению подымает объект в минимально спроцешенное состояние. То есть, если данные процесснуты, а индексы нет - он просто не будет себя утруждать что-либо еще делать. Хм, в SSAS 2014 стандартная процедура следующая - партиции с обновлением данных обрабатываются с ProcessData, затем для всех кубов делается ProcessDefault. В процессе тестирования смотрел статус партиций по методике как описано в статье Даррена Госбелла . После ProcessData но до ProcessDefault - агрегаты были не процессшены, после ProcessDefault куба - отпроцессшены. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2016, 22:19 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Ferdipux, Уточнение к предыдущему посту - описанная "стандартная процедура в SSAS 2014" - это стандартная процедура процессинга в наших системах, реализованная чере пакеты SSIS, не стандарт "из коробки". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.08.2016, 22:25 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Ferdipux, вот я именно методом Госбела по этой статье проверял агрегаты. Их просто небыло после ProcessDefault. Поймал за хвост один раз, и второй раз уже не поверю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.08.2016, 10:27 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Игорь Бобак, Гм, странно... Поднял Велозавод, сделал на партиции Internet_Sales_2007 агрегатов. Затем для этой партиции - сделал ProcessData . Результат - вполне ожидаем - на запрос Код: sql 1. 2. 3. 4. 5. результат DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEAGGREGATION_NAMEAGGREGATION_SIZEAdwWorks2012Adventure WorksInternet SalesInternet_Sales_200724438 Далее сделал ProcessDefault для куба Adventure Works. Результат DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEAGGREGATION_NAMEAGGREGATION_SIZEAdwWorks2012Adventure WorksInternet SalesInternet_Sales_200724438AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 03AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 16AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 26AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 36AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 44AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 56AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 64AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 76AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 812AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation 910AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation a6AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation b8AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation c9AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Aggregation d7 C индексами - проверял аналогично запросом Код: sql 1. 2. 3. 4. 5. После ProcessData группы мер: DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEDIMENSION_NAMEATTRIBUTE_NAMEATTRIBUTE_INDEXEDATTRIBUTE_COUNT_MINATTRIBUTE_COUNT_MAXAdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Promotion(All)False00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion CategoryFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotionFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion TypeFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionDiscount PercentFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMax QuantityFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMin QuantityFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionEnd DateFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionStart DateFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales Territory(All)False00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory GroupFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory CountryFalse00AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory RegionFalse00 Указаны не все индексы, для краткости. После ProcessDefault куба. DATABASE_NAMECUBE_NAMEMEASURE_GROUP_NAMEPARTITION_NAMEDIMENSION_NAMEATTRIBUTE_NAMEATTRIBUTE_INDEXEDATTRIBUTE_COUNT_MINATTRIBUTE_COUNT_MAXAdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Promotion(All)False11AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion CategoryTrue34AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotionTrue215AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionPromotion TypeTrue47AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionDiscount PercentTrue27AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMax QuantityTrue23AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionMin QuantityTrue23AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionEnd DateTrue911AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007PromotionStart DateTrue27AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales Territory(All)False11AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory GroupTrue25AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory CountryTrue28AdwWorks2012Adventure WorksInternet SalesInternet_Sales_2007Sales TerritorySales Territory RegionTrue211 Мое ХО - ProcessDefault куба вполне процессит отсутствующие индексы и агрегаты. Сервер - SSAS 12.0.5000. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2016, 09:09 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
а что делать когда "ProcessUpdate " для измерения (пару раз в неделю) выдает "жесткие связи не могут быть изменены во время добавочной обработки"? пользователи любят перекроить главный справочник номенклатур (( приходится делать Full-процесс для измерения, и заново процессить все партиции ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2016, 10:53 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
AlexBraа что делать когда "ProcessUpdate " для измерения (пару раз в неделю) выдает "жесткие связи не могут быть изменены во время добавочной обработки"? пользователи любят перекроить главный справочник номенклатур (( Я бы задумался - а так ли нужны жесткие связи? В связи с особенностями ваших пользователей :)... MS пишет, что иерархии с жесткими связями работают несколько быстрее, и понятно, что процессятся только 1 раз. Но вот насколько быстрее, и стоит ли гемморой с ручным ProcessFull выделки? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2016, 11:47 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
AlexBra, жесткие связи у меня всегда только в одном месте - в измерении дат. в остальных у меня они всегда гибкие, потому что НИКОГДА, НИКОГДА, НИКОГДА не буду доверять пользователям. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.08.2016, 12:54 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Коллеги, если я делаю для измерение ProcessUpdate А потом для «исторически новых» партиций ProcessFull Нмдо все таки делать потом для всего куба ProcessDefault ? А то это рекомендуются здесь: https://blog.crossjoin.co.uk/2017/05/17/ssas-multidimensional-are-your-indexes-processed/ И есть ли смысл в замене пересчета партиций - вместо ProcessFull делать ProcessIndesx + ProcessData (это время пересчета ускоряет или что?) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2018, 20:31 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
1) https://docs.microsoft.com/ru-ru/sql/analysis-services/multidimensional-models/processing-options-and-settings-analysis-services 2) имеет, меньше ресурсов потребляет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2018, 21:24 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Алекс22, 1. Имеет смысл. ProcessDefault строит те индексы, которые невалидированы после ProcessUpdate. Утверждается MS, что ProcessUpdate + process dependent objects процессит все, но - это дольше чем простой ProcUpdate и видел статьи что агрегации он все же пропускает. 2. ProcData и потом ProcIndex - IMHO требует меньше ресурсов, быстрее. Самое главное зачем делается - ProcData вытаскивает данные и куб доступен, но медленно, пока не завершится ProcIndex. 3. Если делаете Proc Data партициям и затем - Proc Default кубу, то Proc Index может быть исключен, Proc Default все равно такие индексы построит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.02.2018, 11:54 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
Ferdipux, Критик, cпасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.02.2018, 15:47 |
|
||
|
настройка параметров обработки куба - ssas2008
|
|||
|---|---|---|---|
|
#18+
FerdipuxСамое главное зачем делается - ProcData вытаскивает данные и куб доступен, но медленно, пока не завершится ProcIndex. индексы построит. если рефы с "апдейтом" + партиции с типом "фул" , то куб тоже в доступе остается FerdipuxАлекс22, 2. ProcData и потом ProcIndex - IMHO требует меньше ресурсов, быстрее. переделал, было 30-32 минуты, стало 34-35 минут :( ну и гемморой с настройкой пакета - с последними апдейтами ВижуалСтудии куча ошибок/багов приходят, один из багов: если настраиваешь пакет с пересчетом, то при добавлении новой партиции, у всех старых (в Taske) слетает настройка типа процессига ((( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.03.2018, 21:13 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39607023&tid=1857956]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
169ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 11ms |
| total: | 271ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...