Период между сообщениями больше года.
|
|
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
КритикFerdipux, На тестовой системе воспроизводится? Если куб полностью переразвернуть из проекта (с удалением предыдущего) - ошибка воспроизводится? Если развернуть проект на тестовом сервере DWH (где мало данных) - не воспроизводится. Если развернуть проект на копии продуктива - воспроизводится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2016, 16:29 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Если разбить скрипт на отдельные блоки: процессинг измерений, Process Data и Process Index? Где повиснет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2016, 17:32 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
КритикЕсли разбить скрипт на отдельные блоки: процессинг измерений, Process Data и Process Index? Где повиснет? Писал выше - Process Index. Process Update и Process Data идет без подобных зависаний. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2016, 17:40 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
А если запустить прцоессинг сразу после рестарта службы SSAS - тоже виснет? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2016, 18:05 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
КритикА если запустить прцоессинг сразу после рестарта службы SSAS - тоже виснет? Какой - сразу Process Index, или сделать стандартный цикл - Process Dim Update, Process Cube Data, Process Cube Index? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2016, 18:17 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
так: Process Dim Update, Process Cube Data, рестарт, Process Cube Index ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2016, 18:22 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
FerdipuxИгорь Бобаку меня стоит "к-во ядер умноженное на два", но я бы на вашем месте игрался начиная с к-ва ядер, и по чуть чуть увеличивал Попробовал, выведя множитель ядер как параметр. К сожалению, зависание повторилось, даже с множителем 1. Так что попробуем открыть кейс в поддержке Microsoft. Из интересного в этом - при множителе 1 и 2 - наблюдается явный недогруз CPU, так как очередь задач на процессинг не пуста и при этом загрузка CPU плавает в районе 40-60%. я бы их попробовал бы отпрофайлить и получить flamegraph , а дальше бы ткнул носом Майкрософт в то, чем занимается SSAS. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2016, 11:21 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Ferdipux, смена сетевушки не помогла? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2016, 12:16 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
на железке (не виртуалка) все ок? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2016, 20:46 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Критиктак: Process Dim Update, Process Cube Data, рестарт, Process Cube Index Ага, попробовал. Результат интересный. 1. Сделал как описано - Process Dim Update, Process Cube Data, рестарт, Process Cube Index. Процессинг Process Cube Index прошел без ошибок и довольно быстро. 2. Попробовал воспроизвести кейс с зависанием в процессе последовательного процессинга без рестарта. Кейс воспроизвелся. Что любопытно - "висящий" SSAS не останавливался из Service Manager - писал для сервиса статус Stopping. Попробовать на физ машине не могу ввиду отсутствия доступных оных (там нужна не только машина, но и подключение к фабрике FibreChannel, а с этим все плохо) :(... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.09.2016, 18:04 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Подыму тему. SSAS MOLAP 2016 SP1 EE 64x Оперативной памяти хватает Полный процессинг измерения "Клиенты" (свыше 59 млн.) в 2 фазы: Process Data - примерно < 9 мин. (в DSV - columnstore таблица) Process Index - а вот эта фаза ~ 35 мин. длится Натуральные иерархии: Клиенты по поколениям от дат рождения Клиенты по алфавиту - индекс, фамилия, фио, неуникальный клиент Все ключи BIGINT, совместимость выставлена 1100 Как бы еще ускорить фазу Process Index ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2017, 00:41 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Alex_496, посмотреть, что в эти 35 минут происходит по счетчикам CPU/дисков ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2017, 08:21 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Alex_496, Какая у вас дисковая система? Сколько доступно иопсов? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.07.2017, 09:48 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
подниму, все те же симптомы что у автора темы - зависает на процессинге индекса, похоже что причина в увеличении количества записей в группе мер. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.01.2020, 21:57 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
спокойный бобр, Сомнительно, у нас терабайтный куб хорошо процессился . Попробуйте сначала поставить последние sp и cu, переразвернуть проект. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.01.2020, 23:56 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
спокойный бобр, У топикстартера (вашего покорного слуги) - после миграции на SSAS 2016 и поддержании последней версии CU - проблема не воспроизводится. База выросла до полутора терабайт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2020, 10:52 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
спокойный бобр подниму, все те же симптомы что у автора темы - зависает на процессинге индекса, похоже что причина в увеличении количества записей в группе мер. 1) Не рекомендуется в одной партиции иметь более 15 млн строк. Более 50 млн проблема. 2) Процессинг индексов сильно замедляется при избыточных aggregation design (рекомендую не делать более 15 дизайнов на группу мер или партицию) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2020, 11:25 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
a_voronin Не рекомендуется в одной партиции иметь более 15 млн строк. Более 50 млн проблема. Вот не соглашусь. Рекомендация про 15 М строк и 50 МБ размер - кочует из документа по производительности SSAS 2008. С тех по кое-что изменилось в лучшую сторону, у нас живут партиции и по 100-200 М записей. А вот проблемы или недостатки дизайна движков FE/SE -- остались. Поэтому -- из своего опыта - когда в кубе очень (более 10 К) партиций - медленным становится построение планов выполнения запросов и обновления метаданных. К примеру, применение обновления метаданных 50 партиций из 15 К в кубе идет более часа. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2020, 17:29 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Ferdipux a_voronin Не рекомендуется в одной партиции иметь более 15 млн строк. Более 50 млн проблема. Вот не соглашусь. Рекомендация про 15 М строк и 50 МБ размер - кочует из документа по производительности SSAS 2008. С тех по кое-что изменилось в лучшую сторону, у нас живут партиции и по 100-200 М записей. А вот проблемы или недостатки дизайна движков FE/SE -- остались. Поэтому -- из своего опыта - когда в кубе очень (более 10 К) партиций - медленным становится построение планов выполнения запросов и обновления метаданных. К примеру, применение обновления метаданных 50 партиций из 15 К в кубе идет более часа. Я не на документе основываюсь, а на своём опыте. У меня были партиции и на 30 и на 50, 100 лимонов и я в курсе как меняется время. Если в таблице фактов 10 столбцов и измерения с малым числом атрибутов, то 100М может и прокатит. Но в среднем 15 лямов лучше не превышать. А если превышать, то с умом. У вас Slice-ы проставлены и rigid связи на календаре (или том измерении, которые стоят в slice). До 10К партиций я не доходил, а вот до 3К было дело. При правильной оптимизации все откликается неплохо, если many-to-many не городить и гигантских Agg Design не городить. А версия SSAS какая? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2020, 17:37 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
a_voronin, Slice/rigid rels on Data Dim - есть. Many-2-many - тоже есть и довольно сложные, каскадные. Версия SSAS - 2016, сейчас в тесте 2019 - особых улучшений в области производительности метаданных нет :(... Обычные запросы откликаются нормально, а вот запросы изменения или процессинга - долго думают на этапе создания плана выполнения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2020, 17:47 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
всем спасибо за ответы. проблема решилась поднятием старого бекапа + full-ом измерения и меры по маленьким порциям. далее все вернулось как было. возможно какие-то файлы в хранилище были битые и бэкап их заменил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.01.2020, 18:06 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Ferdipux a_voronin Не рекомендуется в одной партиции иметь более 15 млн строк. Более 50 млн проблема. Вот не соглашусь. Рекомендация про 15 М строк и 50 МБ размер - кочует из документа по производительности SSAS 2008. С тех по кое-что изменилось в лучшую сторону, у нас живут партиции и по 100-200 М записей. Согласен, эта рекомендация 2005 года, когда только первую версию SSAS выпустили ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2020, 04:25 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Критик Ferdipux пропущено... Вот не соглашусь. Рекомендация про 15 М строк и 50 МБ размер - кочует из документа по производительности SSAS 2008. С тех по кое-что изменилось в лучшую сторону, у нас живут партиции и по 100-200 М записей. Согласен, эта рекомендация 2005 года, когда только первую версию SSAS выпустили Документ документом, а важны личные замеры. Если партицию обновлять отдельно, то время обновления более 20 минут следует считать не столь оптимальным. Железо получше стало сейчас или таблица фактов может быть разной про ширине. Ключи измерений могут быть оптимальными или не оптимальными. Большое число атрибутов в измерениях. Все это влияет на скорость процессинга. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2020, 10:46 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
Ferdipux . Поэтому -- из своего опыта - когда в кубе очень (более 10 К) партиций - медленным становится построение планов выполнения запросов и обновления метаданных. К примеру, применение обновления метаданных 50 партиций из 15 К в кубе идет более часа. а вот с этим параметром не игрались? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2020, 16:26 |
|
||
|
Зависает процессинг куба
|
|||
|---|---|---|---|
|
#18+
StarikNavy Ferdipux . Поэтому -- из своего опыта - когда в кубе очень (более 10 К) партиций - медленным становится построение планов выполнения запросов и обновления метаданных. К примеру, применение обновления метаданных 50 партиций из 15 К в кубе идет более часа. а вот с этим параметром не игрались? Поверх этого параметра работает Data Source -> Maximum Number of Connections ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.01.2020, 17:49 |
|
||
|
|
start [/forum/topic.php?fid=49&msg=39303986&tid=1857364]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
69ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
57ms |
get tp. blocked users: |
1ms |
| others: | 232ms |
| total: | 407ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
