Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Обработка куба при добавлении измерения / 17 сообщений из 17, страница 1 из 1
15.11.2018, 16:36
    #39733658
IlyamI
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Всем доброго времени.

Имеется куб с количеством данных около 90 Гб.
В проекте куба MS SQL Management Studio описана только одна секция.
Остальные секции нарезаются sql-скриптом по расписанию.

Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90.

Необходимо добавить новое измерение.
Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток.

С уважением.
...
Рейтинг: 0 / 0
15.11.2018, 17:12
    #39733692
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
IlyamI,

при новом измерении только полный пересчет
...
Рейтинг: 0 / 0
15.11.2018, 17:20
    #39733698
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Добавляете в пятницу вечером - за выходные все рассчитается, особенно, если распараллелить.
Считать начинаете с самых последних секций и без агрегатов.

Ps что-то у вас неправильно сделано, раз так долго расчет идет для маленького куба.
...
Рейтинг: 0 / 0
26.11.2018, 17:07
    #39738687
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
IlyamI,

Можно написать XMLA скрипт добавления и процессинга куба так, чтобы до момента его окончания была видна старая версия со старыми данными и без измерений.

Вообще правильно задизайненный куб на 90Гб должен процесситься на 1-1.5 часа.

У меня 350 Гб куб процессился 3-4 часа.
...
Рейтинг: 0 / 0
26.11.2018, 23:58
    #39738866
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
IlyamIВсем доброго времени.

Имеется куб с количеством данных около 90 Гб.
В проекте куба MS SQL Management Studio описана только одна секция.
Остальные секции нарезаются sql-скриптом по расписанию.

Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90.

Необходимо добавить новое измерение.
Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток.

С уважением.
Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями.
Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11.
...
Рейтинг: 0 / 0
27.11.2018, 15:20
    #39739188
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Andy_OLAPIlyamIВсем доброго времени.

Имеется куб с количеством данных около 90 Гб.
В проекте куба MS SQL Management Studio описана только одна секция.
Остальные секции нарезаются sql-скриптом по расписанию.

Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90.

Необходимо добавить новое измерение.
Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток.

С уважением.
Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями.
Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11.

На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?
...
Рейтинг: 0 / 0
27.11.2018, 15:33
    #39739194
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
a_voroninAndy_OLAPпропущено...

Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями.
Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11.

На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?
Коллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой.

Может быть, у него сетка локальная дохлая - и никакой синхронизации ему не светит. Это только опытным путем можно выяснить.

Если у него есть два сервера, на которых можно поставить опыт, псевдобоевой и псевдодевелоперский, а задача стоит "добавить новое измерение с МИНИМАЛЬНЫМ простоем пользователей", то какие у него еще варианты?

Обновление измерений и кубов в его OLAP базе явно раз в сутки. Ну и обновляет на боевой, затем на девелоперской измерения и прочие кубы, потом подсовывает новое измерение, потом пересчитывает куб, потом вечером, когда все в основном разошлись - запускает синхронизацию и ждет, что она завершится успешно до начала вечернего пересчета и обновления по ночам.

А Вы как-то иначе это делаете?
...
Рейтинг: 0 / 0
27.11.2018, 15:35
    #39739195
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
a_voroninНа 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?
Насколько я помню - на 2016-м синхронизация проходила за время, которое всех устраивало. На 2017-м никто этого делать не будет до выхода SP1.
...
Рейтинг: 0 / 0
27.11.2018, 16:03
    #39739214
Ferdipux
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
a_voronin...
На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?

Из опыта - есть инсталляция с примерно 15000 партиций, SSAS 2016. Сама синхронизация занимает до пары часов обычно, и затем минут на 20-30 - коммит транзакции NTFS. В это время база гм, ограничено доступна, тупит и выбрасывает пользователей.
Да, процессятся и изменяются не все 15K партиций, примерно 1000-1500.
...
Рейтинг: 0 / 0
27.11.2018, 16:07
    #39739218
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Ferdipuxa_voronin...
На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?

Из опыта - есть инсталляция с примерно 15000 партиций, SSAS 2016. Сама синхронизация занимает до пары часов обычно, и затем минут на 20-30 - коммит транзакции NTFS. В это время база гм, ограничено доступна, тупит и выбрасывает пользователей.
Да, процессятся и изменяются не все 15K партиций, примерно 1000-1500.
Пробовали на обоих серверах дефолтные каталоги с OLAP базами сложить на PCIE-SSD, а далее секции кубов перенаправить с помощью storage location на диски D, где SSD/HDD не такие скоростные? Чтобы база "смотрела" на две NTFS вместо одной.
...
Рейтинг: 0 / 0
27.11.2018, 16:47
    #39739249
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Andy_OLAPА Вы как-то иначе это делаете?

копируем,
выводим сервер из фермы,
детач, замена, аттач,
вводим сервер в ферму

единственный минут - серверов нужно больше 1 )
...
Рейтинг: 0 / 0
27.11.2018, 16:56
    #39739257
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
КритикAndy_OLAPА Вы как-то иначе это делаете?

копируем,
выводим сервер из фермы,
детач, замена, аттач,
вводим сервер в ферму

единственный минут - серверов нужно больше 1 )
Это при условии, что на сервере одна OLAP база, в куб которой нужно добавить одно измерение. А если их много? Оптимальнее в таком случае синхронизация. Я так думаю, вполне возможно, я таки ошибаюсь.
...
Рейтинг: 0 / 0
27.11.2018, 17:38
    #39739293
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Andy_OLAPКоллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой.

еще вариант - генерим скриптом новый куб (под другим именем), пересчитываем его, переименоваем (старый в новый, новый в старый)
другого сервера не надо, но надо ресурсы
...
Рейтинг: 0 / 0
27.11.2018, 17:43
    #39739299
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
StarikNavyAndy_OLAPКоллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой.

еще вариант - генерим скриптом новый куб (под другим именем), пересчитываем его, переименоваем (старый в новый, новый в старый)
другого сервера не надо, но надо ресурсы
Переименовать - это означает поменять Name, но не Id. А у ежедневном задании на ProcessFull стоит Id старого куба.

<Process xmlns=" http://schemas.microsoft.com/analysisservices/2003/engine">
<Object>
<DatabaseID>Adventure Works DW Multidimensional 2012</DatabaseID>
< CubeID >Adventure Works DW</CubeID>
</Object>
<Type>ProcessFull</Type>
</Process>

И после переименования задания не отработают - потому что у нового куба с новым измерением будет другой CubeID.
...
Рейтинг: 0 / 0
27.11.2018, 20:03
    #39739368
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Andy_OLAPКритикпропущено...


копируем,
выводим сервер из фермы,
детач, замена, аттач,
вводим сервер в ферму

единственный минут - серверов нужно больше 1 )
Это при условии, что на сервере одна OLAP база, в куб которой нужно добавить одно измерение. А если их много? Оптимальнее в таком случае синхронизация. Я так думаю, вполне возможно, я таки ошибаюсь.

Все базы на всех серверах фермы, поэтому не вижу проблем
...
Рейтинг: 0 / 0
28.11.2018, 10:17
    #39739548
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Andy_OLAPПереименовать - это означает поменять Name, но не Id. А у ежедневном задании на ProcessFull
да, все верно, упустил еще один шаг - разворачиваем свежий бэкап куба рядом, переименовываем кубы старый в новый, новый в старый, вносим изменения (в тот который с правильным ID), процессим, разъименовываем обратно
...
Рейтинг: 0 / 0
28.11.2018, 10:21
    #39739553
Ferdipux
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Обработка куба при добавлении измерения
Andy_OLAPПробовали на обоих серверах дефолтные каталоги с OLAP базами сложить на PCIE-SSD, а далее секции кубов перенаправить с помощью storage location на диски D, где SSD/HDD не такие скоростные? Чтобы база "смотрела" на две NTFS вместо одной.

Спасибо за идею, попробую как-нибудь. По ощущению - этот NTFS commit сильно неспешный, перевод метаданных на SSD может помочь.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Обработка куба при добавлении измерения / 17 сообщений из 17, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]