ReSQL.ru
     
powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Создание XMLA секции(partition) куба OLAP
21 сообщений из 21, страница 1 из 1
Создание XMLA секции(partition) куба OLAP
    #40127262
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
Добрый день!
Есть необходимость получить xmla от секции и записать её в таблицу.
В ручном режиме это делается через Script Partition as -> Create to -> new window
Но есть необходимость это делать автоматически для всех кубов. Кто-то может что-то подсказать?
...
Рейтинг: 0 / 0
17.01.2022, 17:57
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40127286
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
Piotr I,

Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
using assembly Microsoft.Analysisservices
$s=new-object Microsoft.Analysisservices.Server
cls;$i="127.0.0.1";$b="AW14"
$s.Connect($i);$s.CaptureXml=1;$d=$s.Databases[$b]
$c=$d.Cubes["Adventure Works"]
foreach($m in $c.MeasureGroups){
" =========================================================== "
$p=[Microsoft.AnalysisServices.Partition]$m.Partitions[0]
$p.Update(1);$s.CaptureLog;$s.CaptureLog.Clear()}
$s.Disconnect()
Remove-Variable * -ea 0
$Error.Clear()
...
Рейтинг: 0 / 0
17.01.2022, 19:31
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40127415
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
Добрый день!
Извините, а что это?
Я может не уточнил, что у меня MS SQL SERVER

vikkiv
Piotr I,

Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
using assembly Microsoft.Analysisservices
$s=new-object Microsoft.Analysisservices.Server
cls;$i="127.0.0.1";$b="AW14"
$s.Connect($i);$s.CaptureXml=1;$d=$s.Databases[$b]
$c=$d.Cubes["Adventure Works"]
foreach($m in $c.MeasureGroups){
" =========================================================== "
$p=[Microsoft.AnalysisServices.Partition]$m.Partitions[0]
$p.Update(1);$s.CaptureLog;$s.CaptureLog.Clear()}
$s.Disconnect()
Remove-Variable * -ea 0
$Error.Clear()

...
Рейтинг: 0 / 0
18.01.2022, 13:16
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40128029
yagrus3
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yagrus3
Гость
Piotr I,
Похоже на PowerShell
...
Рейтинг: 0 / 0
20.01.2022, 11:25
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40128909
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Piotr I
Добрый день!
Есть необходимость получить xmla от секции и записать её в таблицу.
В ручном режиме это делается через Script Partition as -> Create to -> new window
Но есть необходимость это делать автоматически для всех кубов. Кто-то может что-то подсказать?


Вот здесь вам расскажут не только как партиций нагенерить, а даже как целый куб программно создать со всеми потрохами.

https://docs.microsoft.com/ru-ru/analysis-services/amo/programming-amo-olap-basic-objects?view=asallproducts-allversions

Я как правило делаю так: сначала создаю некоторую образцовую партицию за 1 месяц или год, потом размножаю ее на месяца или года вперед.
...
Рейтинг: 0 / 0
24.01.2022, 03:14
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40128971
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
Добрый день!
Работаем в чистом SQL (+ SSIS, SSAS).
У нас есть механизм для автоматической генерации секций, основанный на том, что мы берем XMLA с генерации одной из секций, внедряем какие-то уникальные строки для замены, а потом просто делаем replace, на необходимые параметры. XMLA храним в таблице. И есть проблема, когда кто-то изменят секции в кубе, но забывает обновить таблицу. Поэтому и хотелось бы гениерировать скрипт для создания новой секции и сравнивать с тем, что есть в таблице.

a_voronin
Piotr I
Добрый день!
Есть необходимость получить xmla от секции и записать её в таблицу.
В ручном режиме это делается через Script Partition as -> Create to -> new window
Но есть необходимость это делать автоматически для всех кубов. Кто-то может что-то подсказать?


Вот здесь вам расскажут не только как партиций нагенерить, а даже как целый куб программно создать со всеми потрохами.

https://docs.microsoft.com/ru-ru/analysis-services/amo/programming-amo-olap-basic-objects?view=asallproducts-allversions

Я как правило делаю так: сначала создаю некоторую образцовую партицию за 1 месяц или год, потом размножаю ее на месяца или года вперед.
...
Рейтинг: 0 / 0
24.01.2022, 12:28
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40128986
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Piotr I
Добрый день!
Работаем в чистом SQL (+ SSIS, SSAS).
У нас есть механизм для автоматической генерации секций, основанный на том, что мы берем XMLA с генерации одной из секций, внедряем какие-то уникальные строки для замены, а потом просто делаем replace, на необходимые параметры. XMLA храним в таблице. И есть проблема, когда кто-то изменят секции в кубе, но забывает обновить таблицу. Поэтому и хотелось бы гениерировать скрипт для создания новой секции и сравнивать с тем, что есть в таблице.

a_voronin
пропущено...


Вот здесь вам расскажут не только как партиций нагенерить, а даже как целый куб программно создать со всеми потрохами.

https://docs.microsoft.com/ru-ru/analysis-services/amo/programming-amo-olap-basic-objects?view=asallproducts-allversions

Я как правило делаю так: сначала создаю некоторую образцовую партицию за 1 месяц или год, потом размножаю ее на месяца или года вперед.


В вашем чистом SQL в SSIS есть C#.

Второй подход, заведите таблицу со списком партиций куба -- куб база группа мер партиция тип партиции имя запрос, срез/slice. В ней сделайте вычисляемое поле, которое дает скрпт а) создание партиции б) обновления партиции

далее развлекайтесь с чистым SQL
...
Рейтинг: 0 / 0
24.01.2022, 13:09
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40129271
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
В этом то и есть основной вопрос. т.к. у нас через таблицу всё сейчас и организовано. Как получить
a_voronin
которое дает скрпт а) создание партиции


a_voronin
Piotr I

Добрый день!
Работаем в чистом SQL (+ SSIS, SSAS).
У нас есть механизм для автоматической генерации секций, основанный на том, что мы берем XMLA с генерации одной из секций, внедряем какие-то уникальные строки для замены, а потом просто делаем replace, на необходимые параметры. XMLA храним в таблице. И есть проблема, когда кто-то изменят секции в кубе, но забывает обновить таблицу. Поэтому и хотелось бы гениерировать скрипт для создания новой секции и сравнивать с тем, что есть в таблице.

пропущено...


В вашем чистом SQL в SSIS есть C#.

Второй подход, заведите таблицу со списком партиций куба -- куб база группа мер партиция тип партиции имя запрос, срез/slice. В ней сделайте вычисляемое поле, которое дает скрпт а) создание партиции б) обновления партиции

далее развлекайтесь с чистым SQL
...
Рейтинг: 0 / 0
25.01.2022, 13:51
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40129279
Ибн Хоттаб
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ибн Хоттаб
Участник
Как xmla получить через чистый SQL не знаю, но для вашей задачи может хватить:

SELECT * FROM OPENQUERY(XXX,'SELECT * FROM $SYSTEM.TMSCHEMA_PARTITIONS')

где ХХХ - линкед сервер на ваш SSAS
...
Рейтинг: 0 / 0
25.01.2022, 14:03
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40130382
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
Добрый день!
К сожалению, результата нет.
использовал данный скрипт на mdx и ничего не получил ни на одной из баз.
Посмотрел, что список доступных таблиц можно посмотреть таким образом:
Код: sql
1.
2.
3.
SELECT * FROM $System.DBSchema_Tables   
WHERE TABLE_TYPE = 'SCHEMA'   
ORDER BY TABLE_NAME ASC


К сожалению, тут близко к теме только DISCOVER_PARTITION_DIMENSION_STAT, DISCOVER_PARTITION_STAT. Но они не подходят.
Может знаете, что не так?
Ибн Хоттаб
Как xmla получить через чистый SQL не знаю, но для вашей задачи может хватить:

SELECT * FROM OPENQUERY(XXX,'SELECT * FROM $SYSTEM.TMSCHEMA_PARTITIONS')

где ХХХ - линкед сервер на ваш SSAS
...
Рейтинг: 0 / 0
28.01.2022, 16:29
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40130390
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Piotr I,

https://dataonwheels.wordpress.com/2012/10/10/x-xmla-vii-partition-management-with-xmla/
...
Рейтинг: 0 / 0
28.01.2022, 16:50
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40132488
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
Добрый день!
Спасибо прочитал, но как раз это я уже знаю
Как я писал ранее, мы вручную генерируем XMLA для создания секции и сохраняем его(XMLA) в таблице, а потом раз в месяц запускаем скрипт, который генерирует новые секции. Есть только одна проблема. Если кто-то испменил КУБ(секции в этом кубе), но забыл изменить данные в таблице, то будут генерироваться некорректные секции. Вот от этого и хочу подстраховаться. Для этого мне нужно как-то автоматически генерировать XMLA для создания секции, чтобы сравнить с той, которая сейчас есть в таблице.

В любом случае спасибо за участие.
a_voronin
Piotr I,

https://dataonwheels.wordpress.com/2012/10/10/x-xmla-vii-partition-management-with-xmla/
...
Рейтинг: 0 / 0
08.02.2022, 13:44
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40132763
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Piotr I
Добрый день!
Спасибо прочитал, но как раз это я уже знаю
Как я писал ранее, мы вручную генерируем XMLA для создания секции и сохраняем его(XMLA) в таблице, а потом раз в месяц запускаем скрипт, который генерирует новые секции. Есть только одна проблема. Если кто-то испменил КУБ(секции в этом кубе), но забыл изменить данные в таблице, то будут генерироваться некорректные секции. Вот от этого и хочу подстраховаться. Для этого мне нужно как-то автоматически генерировать XMLA для создания секции, чтобы сравнить с той, которая сейчас есть в таблице.

В любом случае спасибо за участие.
a_voronin
Piotr I,

https://dataonwheels.wordpress.com/2012/10/10/x-xmla-vii-partition-management-with-xmla/


Не занимайтесь подобной свистопляской. Создайте в кубе секции на 2-3 года вперед.

Я этим занимался сам перед новым годом. До конца 2024 го сделал и забыл теперь про это.
...
Рейтинг: 0 / 0
09.02.2022, 11:23
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40132863
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
Добрый день!
Во-первых, при изенении куба вам придется изменять дополнительные секции, но это минимальная проблема.
Во-вторых, Основная проблема тут в том, что у нас практи пересчитывать только последнюю секцию (последние 2), и с вашим решением это уже не очень будет. А пересчитывать все секции это нам мощностей не хватит.
В-третьих, я очень не люблю такие решения, когда чт-то сделано с запасом. Обычно этот запас когда-то заканчивается и потом наступает попа. Для ког-то другого или тебя, что ещё обиднее. У нас была похожая проблема с сеционирование таблицы, когда из-за несовсем корректного кода новые секции не делалили в течение полугода(в той таблице секции были еженедельные), что заметно снизело скорость работы и восоздовать секции при наличии данных уже достаточно долгий процесс.

a_voronin
Piotr I
Добрый день!
Спасибо прочитал, но как раз это я уже знаю
Как я писал ранее, мы вручную генерируем XMLA для создания секции и сохраняем его(XMLA) в таблице, а потом раз в месяц запускаем скрипт, который генерирует новые секции. Есть только одна проблема. Если кто-то испменил КУБ(секции в этом кубе), но забыл изменить данные в таблице, то будут генерироваться некорректные секции. Вот от этого и хочу подстраховаться. Для этого мне нужно как-то автоматически генерировать XMLA для создания секции, чтобы сравнить с той, которая сейчас есть в таблице.

В любом случае спасибо за участие.
пропущено...


Не занимайтесь подобной свистопляской. Создайте в кубе секции на 2-3 года вперед.

Я этим занимался сам перед новым годом. До конца 2024 го сделал и забыл теперь про это.
...
Рейтинг: 0 / 0
09.02.2022, 16:47
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40133800
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Piotr I
Добрый день!
Во-первых, при изенении куба вам придется изменять дополнительные секции, но это минимальная проблема.
Во-вторых, Основная проблема тут в том, что у нас практи пересчитывать только последнюю секцию (последние 2), и с вашим решением это уже не очень будет. А пересчитывать все секции это нам мощностей не хватит.
В-третьих, я очень не люблю такие решения, когда чт-то сделано с запасом. Обычно этот запас когда-то заканчивается и потом наступает попа. Для ког-то другого или тебя, что ещё обиднее. У нас была похожая проблема с сеционирование таблицы, когда из-за несовсем корректного кода новые секции не делалили в течение полугода(в той таблице секции были еженедельные), что заметно снизело скорость работы и восоздовать секции при наличии данных уже достаточно долгий процесс.

a_voronin
пропущено...


Не занимайтесь подобной свистопляской. Создайте в кубе секции на 2-3 года вперед.

Я этим занимался сам перед новым годом. До конца 2024 го сделал и забыл теперь про это.


Во-первых, и Во-вторых, существует только в вашем воображении. Надо что-то очень сильно наворотить, чтобы будущие секции пришлось менять или обновлять. А прошлые не придется? Тогда в чем разница?

SELECT * FROM Vw_Data_Mart WHERE DATA BETWEEN ....

Только не говорите мне, что вы перечисляете список полей в секциях.

про третье я вообще не понял. У меня все кубы во всех компаниях имели секции на 1-3 года вперед. Обновлялась только последняя или текущая или пару месяцев. При добавлении измерений или мер ничего с секциями делать не надо. Как были, так и остались.

Никогда не понимал зачем люди городят какой-то огород, который добавляет новые секции каждый месяц, потом эта джоба падает, секций нет, данных нет, долгие дискуссии о том, как привести это в подряд.

У меня все просто -- сделал вперед и забыл на 3 года.

1) Партиционирование в таблице фактов должно совпадать с партиционированием в кубе,
2) у секций проставить срезы (slice), тогда никто туда лезть не будет
3) Плат у витрины должен быть такой, что за будущей период скан равен 0

Вот если не сделали витрину по Кимбаллу, если у вас под витриной не схема звезда, а месиво из непонятных джойнов, вот тогда да...

И все. Вот если у вас slice не проставлены, тогда да начнется свистопляска. Но я уже ничему не удивляюсь, всякое повидал. Даже тех, кто уперто доказывал, что без срезов лучше, что там все закешируется ... брр...
...
Рейтинг: 0 / 0
13.02.2022, 02:06
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40133955
Piotr I
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Piotr I
Гость
a_voronin
Piotr I
Добрый день!
Во-первых, при изенении куба вам придется изменять дополнительные секции, но это минимальная проблема.
Во-вторых, Основная проблема тут в том, что у нас практи пересчитывать только последнюю секцию (последние 2), и с вашим решением это уже не очень будет. А пересчитывать все секции это нам мощностей не хватит.
В-третьих, я очень не люблю такие решения, когда чт-то сделано с запасом. Обычно этот запас когда-то заканчивается и потом наступает попа. Для ког-то другого или тебя, что ещё обиднее. У нас была похожая проблема с сеционирование таблицы, когда из-за несовсем корректного кода новые секции не делалили в течение полугода(в той таблице секции были еженедельные), что заметно снизело скорость работы и восоздовать секции при наличии данных уже достаточно долгий процесс.

пропущено...


Во-первых, и Во-вторых, существует только в вашем воображении. Надо что-то очень сильно наворотить, чтобы будущие секции пришлось менять или обновлять. А прошлые не придется? Тогда в чем разница?

SELECT * FROM Vw_Data_Mart WHERE DATA BETWEEN ....

Только не говорите мне, что вы перечисляете список полей в секциях.

про третье я вообще не понял. У меня все кубы во всех компаниях имели секции на 1-3 года вперед. Обновлялась только последняя или текущая или пару месяцев. При добавлении измерений или мер ничего с секциями делать не надо. Как были, так и остались.

Никогда не понимал зачем люди городят какой-то огород, который добавляет новые секции каждый месяц, потом эта джоба падает, секций нет, данных нет, долгие дискуссии о том, как привести это в подряд.

У меня все просто -- сделал вперед и забыл на 3 года.

1) Партиционирование в таблице фактов должно совпадать с партиционированием в кубе,
2) у секций проставить срезы (slice), тогда никто туда лезть не будет
3) Плат у витрины должен быть такой, что за будущей период скан равен 0

Вот если не сделали витрину по Кимбаллу, если у вас под витриной не схема звезда, а месиво из непонятных джойнов, вот тогда да...

И все. Вот если у вас slice не проставлены, тогда да начнется свистопляска. Но я уже ничему не удивляюсь, всякое повидал. Даже тех, кто уперто доказывал, что без срезов лучше, что там все закешируется ... брр...


Добрый день!
Спасибо, раньше действительно перечислялвсе поля в секции и как раз при добавлении новых данных приходилось изменять секции.
Проанализирую существующие кубы и посмотрю, пролучится ли поставить "*".
А по поводу автоматического добавления, то когда у меня не отработает JOB, я это наглядно увижу и сам исправлю. В то время, если я забуду через три года добавить еще секций, то мне об этом будет писать уже бизнес и я буду виноватым.
Вы анализировали насколько затратно считать "пустые" секции? Просто у нас этиъ кубов не мало и многие пересчитываются каждый час.
изините за неопытность я просто в этом деле неопытный. В прошлом проекте все отчеты писали на C#, а тут другая практика сложилась. Вот и познаю её.

По третьему пункту, я писал по поводу секци
...
Рейтинг: 0 / 0
14.02.2022, 13:24
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40133987
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Piotr I
a_voronin
пропущено...


Во-первых, и Во-вторых, существует только в вашем воображении. Надо что-то очень сильно наворотить, чтобы будущие секции пришлось менять или обновлять. А прошлые не придется? Тогда в чем разница?

SELECT * FROM Vw_Data_Mart WHERE DATA BETWEEN ....

Только не говорите мне, что вы перечисляете список полей в секциях.

про третье я вообще не понял. У меня все кубы во всех компаниях имели секции на 1-3 года вперед. Обновлялась только последняя или текущая или пару месяцев. При добавлении измерений или мер ничего с секциями делать не надо. Как были, так и остались.

Никогда не понимал зачем люди городят какой-то огород, который добавляет новые секции каждый месяц, потом эта джоба падает, секций нет, данных нет, долгие дискуссии о том, как привести это в подряд.

У меня все просто -- сделал вперед и забыл на 3 года.

1) Партиционирование в таблице фактов должно совпадать с партиционированием в кубе,
2) у секций проставить срезы (slice), тогда никто туда лезть не будет
3) Плат у витрины должен быть такой, что за будущей период скан равен 0

Вот если не сделали витрину по Кимбаллу, если у вас под витриной не схема звезда, а месиво из непонятных джойнов, вот тогда да...

И все. Вот если у вас slice не проставлены, тогда да начнется свистопляска. Но я уже ничему не удивляюсь, всякое повидал. Даже тех, кто уперто доказывал, что без срезов лучше, что там все закешируется ... брр...


Добрый день!
Спасибо, раньше действительно перечислялвсе поля в секции и как раз при добавлении новых данных приходилось изменять секции.
Проанализирую существующие кубы и посмотрю, пролучится ли поставить "*".
А по поводу автоматического добавления, то когда у меня не отработает JOB, я это наглядно увижу и сам исправлю. В то время, если я забуду через три года добавить еще секций, то мне об этом будет писать уже бизнес и я буду виноватым.
Вы анализировали насколько затратно считать "пустые" секции? Просто у нас этиъ кубов не мало и многие пересчитываются каждый час.
изините за неопытность я просто в этом деле неопытный. В прошлом проекте все отчеты писали на C#, а тут другая практика сложилась. Вот и познаю её.

По третьему пункту, я писал по поводу секци


Обновление пустых секций занимает секунды. Но важно, чтобы запрос на будущий период, где нет данных, быстро отдавал 0 строк. Главное во всем этом, это slice (срез) секции. Ещё важно, чтобы в календаре были rigid связи. Если по нему конечно делается срез.
...
Рейтинг: 0 / 0
14.02.2022, 15:03
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40134813
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
a_voronin
Обновление пустых секций занимает секунды. Но важно, чтобы запрос на будущий период, где нет данных, быстро отдавал 0 строк. Главное во всем этом, это slice (срез) секции.

Э, все так, но есть нюансы. Если секций становится очень много -- процессинг куба замедляется, практически в любом варианте, на этапе подготовки плана процессинга. Видимо, движок обсчитывает все возможные партиции.
Мы словили такой сценарий, когда создали пустые временные секции до 2040 года, и запустили процессинг Dim Update. SSAS 2012 думал почти полчаса на подготовке плана.
В версии 2016 стало несколько получше, но все равно создаем секции на 2 года вперед, не более.
...
Рейтинг: 0 / 0
17.02.2022, 13:58
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40134944
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Ferdipux
a_voronin
Обновление пустых секций занимает секунды. Но важно, чтобы запрос на будущий период, где нет данных, быстро отдавал 0 строк. Главное во всем этом, это slice (срез) секции.

Э, все так, но есть нюансы. Если секций становится очень много -- процессинг куба замедляется, практически в любом варианте, на этапе подготовки плана процессинга. Видимо, движок обсчитывает все возможные партиции.
Мы словили такой сценарий, когда создали пустые временные секции до 2040 года, и запустили процессинг Dim Update. SSAS 2012 думал почти полчаса на подготовке плана.
В версии 2016 стало несколько получше, но все равно создаем секции на 2 года вперед, не более.



Только что процессил группу мер на 60 секций, из которых заполнены только 4. Заняло 00:01:36 .
...
Рейтинг: 0 / 0
17.02.2022, 19:11
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40135317
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
a_voronin
Ferdipux
пропущено...

Э, все так, но есть нюансы. Если секций становится очень много -- процессинг куба замедляется, практически в любом варианте, на этапе подготовки плана процессинга. Видимо, движок обсчитывает все возможные партиции.
Мы словили такой сценарий, когда создали пустые временные секции до 2040 года, и запустили процессинг Dim Update. SSAS 2012 думал почти полчаса на подготовке плана.
В версии 2016 стало несколько получше, но все равно создаем секции на 2 года вперед, не более.



Только что процессил группу мер на 60 секций, из которых заполнены только 4. Заняло 00:01:36 .


Когда была проблема - было под 600 групп мер, в среднем по 160 партиций, итого 96000. Даже если обрабатывали 50 групп мер - SSAS сильно тормозил на начальной фазе.
Уменьшили до 60 партиций на группу мер - стало легче.
...
Рейтинг: 0 / 0
19.02.2022, 22:25
| Ответить | Цитировать | Написать  
Создание XMLA секции(partition) куба OLAP
    #40135340
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
Ferdipux
a_voronin
пропущено...



Только что процессил группу мер на 60 секций, из которых заполнены только 4. Заняло 00:01:36 .


Когда была проблема - было под 600 групп мер, в среднем по 160 партиций, итого 96000. Даже если обрабатывали 50 групп мер - SSAS сильно тормозил на начальной фазе.
Уменьшили до 60 партиций на группу мер - стало легче.


Это крайне эктремальный куб. У вас все на грани лимитов по макс числу партиций.

Вряд ли у ТС такой размер. 30-40 групп мер, до 120 партиций в половине из них, это более распространенная история.

Вот у нас старые партиции (до 16 , где-то до 18 года) все-таки обрезают. Ибо не надо так далеко лазить.

Но главный смысл дискуссии выше был в том, что партиции надо делать заранее вперед, а не создавать джобой каждый месяц. На год вперед точно стоит делать сразу.
...
Рейтинг: 0 / 0
20.02.2022, 10:08
| Ответить | Цитировать | Написать  
21 сообщений из 21, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Создание XMLA секции(partition) куба OLAP
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (7): Анонимы (5), Yandex Bot 1 мин., Bing Bot 3 мин.
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
Start [/forum/topic.php?fid=49&tid=1857028]:
 0ms
get settings:
 1ms
get forum list:
 6ms
check forum access:
 0ms
check topic access:
 0ms
track hit:
 24ms
get topic data:
 4ms
get forum data:
 1ms
get page messages:
 14ms
update_topic_read_status (1857028): 20.02.2022 10:08:55:
 0ms
get tp. blocked users:
 1ms
get online users:
 19ms
check new:
 1ms
others: 73ms
total:  144ms
созд. / загр.: 144ms (нв.: 1ms)
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]