powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Обработка куба при добавлении измерения
17 сообщений из 17, страница 1 из 1
Обработка куба при добавлении измерения
    #39733658
IlyamI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем доброго времени.

Имеется куб с количеством данных около 90 Гб.
В проекте куба MS SQL Management Studio описана только одна секция.
Остальные секции нарезаются sql-скриптом по расписанию.

Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90.

Необходимо добавить новое измерение.
Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток.

С уважением.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39733692
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
IlyamI,

при новом измерении только полный пересчет
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39733698
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добавляете в пятницу вечером - за выходные все рассчитается, особенно, если распараллелить.
Считать начинаете с самых последних секций и без агрегатов.

Ps что-то у вас неправильно сделано, раз так долго расчет идет для маленького куба.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39738687
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
IlyamI,

Можно написать XMLA скрипт добавления и процессинга куба так, чтобы до момента его окончания была видна старая версия со старыми данными и без измерений.

Вообще правильно задизайненный куб на 90Гб должен процесситься на 1-1.5 часа.

У меня 350 Гб куб процессился 3-4 часа.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39738866
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
IlyamIВсем доброго времени.

Имеется куб с количеством данных около 90 Гб.
В проекте куба MS SQL Management Studio описана только одна секция.
Остальные секции нарезаются sql-скриптом по расписанию.

Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90.

Необходимо добавить новое измерение.
Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток.

С уважением.
Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями.
Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739188
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPIlyamIВсем доброго времени.

Имеется куб с количеством данных около 90 Гб.
В проекте куба MS SQL Management Studio описана только одна секция.
Остальные секции нарезаются sql-скриптом по расписанию.

Каждая секция содержит данных примерно на 1 Гб. Пересчет каждой секции занимает примерно 30-40 минут (данные забираются с другого сервера). На данный момент, соответственно, секций насчитывается ~90.

Необходимо добавить новое измерение.
Как это сделать наиболее оптимальным способом, чтобы при этом не пришлось полностью пересчитывать куб, так как это займет примерно двое суток.

С уважением.
Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями.
Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11.

На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739194
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voroninAndy_OLAPпропущено...

Пересобираете на девелоперском сервере, затем делаете syncronise для OLAP базы в сторону боевого. Вместе со всеми кубами и измерениями.
Если 2016-й - будет без проблем. Если 2017-й - не забудьте накатить CU11.

На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?
Коллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой.

Может быть, у него сетка локальная дохлая - и никакой синхронизации ему не светит. Это только опытным путем можно выяснить.

Если у него есть два сервера, на которых можно поставить опыт, псевдобоевой и псевдодевелоперский, а задача стоит "добавить новое измерение с МИНИМАЛЬНЫМ простоем пользователей", то какие у него еще варианты?

Обновление измерений и кубов в его OLAP базе явно раз в сутки. Ну и обновляет на боевой, затем на девелоперской измерения и прочие кубы, потом подсовывает новое измерение, потом пересчитывает куб, потом вечером, когда все в основном разошлись - запускает синхронизацию и ждет, что она завершится успешно до начала вечернего пересчета и обновления по ночам.

А Вы как-то иначе это делаете?
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739195
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voroninНа 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?
Насколько я помню - на 2016-м синхронизация проходила за время, которое всех устраивало. На 2017-м никто этого делать не будет до выхода SP1.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739214
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
a_voronin...
На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?

Из опыта - есть инсталляция с примерно 15000 партиций, SSAS 2016. Сама синхронизация занимает до пары часов обычно, и затем минут на 20-30 - коммит транзакции NTFS. В это время база гм, ограничено доступна, тупит и выбрасывает пользователей.
Да, процессятся и изменяются не все 15K партиций, примерно 1000-1500.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739218
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ferdipuxa_voronin...
На 2014 syncronise такой тормозной был, что был проще обновить заново. Особенно, где много партиций. Как сейчас на 2016 2017? Он кстати держит старую версию БД доступной до своего окнчания?

Из опыта - есть инсталляция с примерно 15000 партиций, SSAS 2016. Сама синхронизация занимает до пары часов обычно, и затем минут на 20-30 - коммит транзакции NTFS. В это время база гм, ограничено доступна, тупит и выбрасывает пользователей.
Да, процессятся и изменяются не все 15K партиций, примерно 1000-1500.
Пробовали на обоих серверах дефолтные каталоги с OLAP базами сложить на PCIE-SSD, а далее секции кубов перенаправить с помощью storage location на диски D, где SSD/HDD не такие скоростные? Чтобы база "смотрела" на две NTFS вместо одной.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739249
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPА Вы как-то иначе это делаете?

копируем,
выводим сервер из фермы,
детач, замена, аттач,
вводим сервер в ферму

единственный минут - серверов нужно больше 1 )
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739257
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КритикAndy_OLAPА Вы как-то иначе это делаете?

копируем,
выводим сервер из фермы,
детач, замена, аттач,
вводим сервер в ферму

единственный минут - серверов нужно больше 1 )
Это при условии, что на сервере одна OLAP база, в куб которой нужно добавить одно измерение. А если их много? Оптимальнее в таком случае синхронизация. Я так думаю, вполне возможно, я таки ошибаюсь.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739293
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPКоллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой.

еще вариант - генерим скриптом новый куб (под другим именем), пересчитываем его, переименоваем (старый в новый, новый в старый)
другого сервера не надо, но надо ресурсы
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739299
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
StarikNavyAndy_OLAPКоллега, я предполагаю, что у автора темы вариантов не очень много. Пересчитывать вживую куб, предупреждая пользователей, что доступ к нему закрыт до окончания пересчета (через роли), или синхронизировать пересчитанную базу с девелоперского на боевой.

еще вариант - генерим скриптом новый куб (под другим именем), пересчитываем его, переименоваем (старый в новый, новый в старый)
другого сервера не надо, но надо ресурсы
Переименовать - это означает поменять Name, но не Id. А у ежедневном задании на ProcessFull стоит Id старого куба.

<Process xmlns=" http://schemas.microsoft.com/analysisservices/2003/engine">
<Object>
<DatabaseID>Adventure Works DW Multidimensional 2012</DatabaseID>
< CubeID >Adventure Works DW</CubeID>
</Object>
<Type>ProcessFull</Type>
</Process>

И после переименования задания не отработают - потому что у нового куба с новым измерением будет другой CubeID.
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739368
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPКритикпропущено...


копируем,
выводим сервер из фермы,
детач, замена, аттач,
вводим сервер в ферму

единственный минут - серверов нужно больше 1 )
Это при условии, что на сервере одна OLAP база, в куб которой нужно добавить одно измерение. А если их много? Оптимальнее в таком случае синхронизация. Я так думаю, вполне возможно, я таки ошибаюсь.

Все базы на всех серверах фермы, поэтому не вижу проблем
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739548
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Andy_OLAPПереименовать - это означает поменять Name, но не Id. А у ежедневном задании на ProcessFull
да, все верно, упустил еще один шаг - разворачиваем свежий бэкап куба рядом, переименовываем кубы старый в новый, новый в старый, вносим изменения (в тот который с правильным ID), процессим, разъименовываем обратно
...
Рейтинг: 0 / 0
Обработка куба при добавлении измерения
    #39739553
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Andy_OLAPПробовали на обоих серверах дефолтные каталоги с OLAP базами сложить на PCIE-SSD, а далее секции кубов перенаправить с помощью storage location на диски D, где SSD/HDD не такие скоростные? Чтобы база "смотрела" на две NTFS вместо одной.

Спасибо за идею, попробую как-нибудь. По ощущению - этот NTFS commit сильно неспешный, перевод метаданных на SSD может помочь.
...
Рейтинг: 0 / 0
17 сообщений из 17, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Обработка куба при добавлении измерения
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]