|
|
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Всем доброго времени. Имеется куб с количеством данных около 90 Гб. В проекте куба MS SQL Management Studio описана только одна секция. Остальные секции нарезаются sql-скриптом по расписанию. Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90. Необходимо добавить новое измерение. Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток. С уважением. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 16:36 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
IlyamI, при новом измерении только полный пересчет ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 17:12 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Добавляете в пятницу вечером - за выходные все рассчитается, особенно, если распараллелить. Считать начинаете с самых последних секций и без агрегатов. Ps что-то у вас неправильно сделано, раз так долго расчет идет для маленького куба. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.11.2018, 17:20 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
IlyamI, Можно написать XMLA скрипт добавления и процессинга куба так, чтобы до момента его окончания была видна старая версия со старыми данными и без измерений. Вообще правильно задизайненный куб на 90Гб должен процесситься на 1-1.5 часа. У меня 350 Гб куб процессился 3-4 часа. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.11.2018, 17:07 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
IlyamIВсем доброго времени. Имеется куб с количеством данных около 90 Гб. В проекте куба MS SQL Management Studio описана только одна секция. Остальные секции нарезаются sql-скриптом по расписанию. Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90. Необходимо добавить новое измерение. Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток. С уважением. Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями. Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.11.2018, 23:58 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Andy_OLAPIlyamIВсем доброго времени. Имеется куб с количеством данных около 90 Гб. В проекте куба MS SQL Management Studio описана только одна секция. Остальные секции нарезаются sql-скриптом по расписанию. Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90. Необходимо добавить новое измерение. Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток. С уважением. Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями. Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11. На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 15:20 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
a_voroninAndy_OLAPпропущено... Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями. Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11. На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания? Коллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой. Может быть, у него сетка локальная дохлая - и никакой синхронизации ему не светит. Это только опытным путем можно выяснить. Если у него есть два сервера, на которых можно поставить опыт, псевдобоевой и псевдодевелоперский, а задача стоит "добавить новое измерение с МИНИМАЛЬНЫМ простоем пользователей", то какие у него еще варианты? Обновление измерений и кубов в его OLAP базе явно раз в сутки. Ну и обновляет на боевой, затем на девелоперской измерения и прочие кубы, потом подсовывает новое измерение, потом пересчитывает куб, потом вечером, когда все в основном разошлись - запускает синхронизацию и ждет, что она завершится успешно до начала вечернего пересчета и обновления по ночам. А Вы как-то иначе это делаете? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 15:33 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
a_voroninНа 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания? Насколько я помню - на 2016-м синхронизация проходила за время, которое всех устраивало. На 2017-м никто этого делать не будет до выхода SP1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 15:35 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
a_voronin... На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания? Из опыта - есть инсталляция с примерно 15000 партиций, SSAS 2016. Сама синхронизация занимает до пары часов обычно, и затем минут на 20-30 - коммит транзакции NTFS. В это время база гм, ограничено доступна, тупит и выбрасывает пользователей. Да, процессятся и изменяются не все 15K партиций, примерно 1000-1500. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 16:03 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Ferdipuxa_voronin... На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания? Из опыта - есть инсталляция с примерно 15000 партиций, SSAS 2016. Сама синхронизация занимает до пары часов обычно, и затем минут на 20-30 - коммит транзакции NTFS. В это время база гм, ограничено доступна, тупит и выбрасывает пользователей. Да, процессятся и изменяются не все 15K партиций, примерно 1000-1500. Пробовали на обоих серверах дефолтные каталоги с OLAP базами сложить на PCIE-SSD, а далее секции кубов перенаправить с помощью storage location на диски D, где SSD/HDD не такие скоростные? Чтобы база "смотрела" на две NTFS вместо одной. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 16:07 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Andy_OLAPА Вы как-то иначе это делаете? копируем, выводим сервер из фермы, детач, замена, аттач, вводим сервер в ферму единственный минут - серверов нужно больше 1 ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 16:47 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
КритикAndy_OLAPА Вы как-то иначе это делаете? копируем, выводим сервер из фермы, детач, замена, аттач, вводим сервер в ферму единственный минут - серверов нужно больше 1 ) Это при условии, что на сервере одна OLAP база, в куб которой нужно добавить одно измерение. А если их много? Оптимальнее в таком случае синхронизация. Я так думаю, вполне возможно, я таки ошибаюсь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 16:56 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Andy_OLAPКоллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой. еще вариант - генерим скриптом новый куб (под другим именем), пересчитываем его, переименоваем (старый в новый, новый в старый) другого сервера не надо, но надо ресурсы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 17:38 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
StarikNavyAndy_OLAPКоллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой. еще вариант - генерим скриптом новый куб (под другим именем), пересчитываем его, переименоваем (старый в новый, новый в старый) другого сервера не надо, но надо ресурсы Переименовать - это означает поменять Name, но не Id. А у ежедневном задании на ProcessFull стоит Id старого куба. <Process xmlns=" http://schemas.microsoft.com/analysisservices/2003/engine"> <Object> <DatabaseID>Adventure Works DW Multidimensional 2012</DatabaseID> < CubeID >Adventure Works DW</CubeID> </Object> <Type>ProcessFull</Type> </Process> И после переименования задания не отработают - потому что у нового куба с новым измерением будет другой CubeID. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 17:43 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Andy_OLAPКритикпропущено... копируем, выводим сервер из фермы, детач, замена, аттач, вводим сервер в ферму единственный минут - серверов нужно больше 1 ) Это при условии, что на сервере одна OLAP база, в куб которой нужно добавить одно измерение. А если их много? Оптимальнее в таком случае синхронизация. Я так думаю, вполне возможно, я таки ошибаюсь. Все базы на всех серверах фермы, поэтому не вижу проблем ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.11.2018, 20:03 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Andy_OLAPПереименовать - это означает поменять Name, но не Id. А у ежедневном задании на ProcessFull да, все верно, упустил еще один шаг - разворачиваем свежий бэкап куба рядом, переименовываем кубы старый в новый, новый в старый, вносим изменения (в тот который с правильным ID), процессим, разъименовываем обратно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.11.2018, 10:17 |
|
||
|
Обработка куба при добавлении измерения
|
|||
|---|---|---|---|
|
#18+
Andy_OLAPПробовали на обоих серверах дефолтные каталоги с OLAP базами сложить на PCIE-SSD, а далее секции кубов перенаправить с помощью storage location на диски D, где SSD/HDD не такие скоростные? Чтобы база "смотрела" на две NTFS вместо одной. Спасибо за идею, попробую как-нибудь. По ощущению - этот NTFS commit сильно неспешный, перевод метаданных на SSD может помочь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.11.2018, 10:21 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=18&tid=1857719]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
55ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
50ms |
get tp. blocked users: |
2ms |
| others: | 248ms |
| total: | 400ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...