powered by simpleCommunicator - 2.0.44     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / profiler
9 сообщений из 9, страница 1 из 1
profiler
    #40043745
montoya.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
добрый день ув. форумчане
вопрос

вообщем что происходит
строю в кубе достаточно "детальный" запрос с кучей пересечений, ожидаемый набор данных примерно на мильён строк.
на что эксель уходит в "running olap query"
пока по итогу не выдаёт timeout

нагрузки на процессоры - почти нет, в среднем 10% инога не надолго до 80% подскакивает
на диски(ssd) - вообще тишина
памяти свободной - куча.

при этом профайлер выдаёт оргомного колличество строк с содержианием
Event Class : "Query subcube"
EventSubClass : "1 - Cache data"
ну и дальше набор "10111000000100,000000,00000000000000000000,00001010000000000000,00"

агрегации под данный набор, вроде как создал....
куда рыть? чего оно так?

спасибо.
...
Рейтинг: 0 / 0
profiler
    #40043763
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
montoya.,

На миллион строк это по возможности в DWH пожалуйста,
как с Locks? что там с CPU на ядрах? - не говоря о других оптимизациях {структура модели, и пр.}

по идее только одно формульное ядро может в 100% надолго улететь и остальные зависимые в очередь
поэтому может сложится впечатление что загрузка всего CPU на 8%~9% а при этом одно ядро на 100%...
(на дисковых операциях вроде как параллельность работала нормально,
поэтому первичная обработка и дисковый кэш могли полноценно грузить/использовать процессор)

Можно конечно ещё посмотреть сколько child Threads на процессоре от SSAS висит
После создания агрегаций неплохо-бы убедиться что они вообще используются (тот-же profiler, другой event)
Ну и собственно сам запрос разбирать, OLAP как-бы тоже в первую очередь под SET операции предназначен
(при этом на него стараются больше и больше повесить другого),
а для "per Cell" операций сейчас вполне достаточно хороших инструментов на рынке появилось.


P.S. Microsoft списали MD лет как 15 назад уже, просто не очень хотели публично признаваться..
так что поаккуратней с этой тупиковой веткой развития...
...
Рейтинг: 0 / 0
profiler
    #40043772
montoya.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv,

спасибо по ресурсам сейчас посмотрю детальней

по MD - тупиковая
а куда идти?
...
Рейтинг: 0 / 0
profiler
    #40043775
montoya.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv,

процы как-то так выглядят в прикреплении скрин
...
Рейтинг: 0 / 0
profiler
    #40043776
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
montoya.
...а куда идти?
Это собственный выбор индивида, у каждого своё мнение,
своя среда и возможности (а уж обсуждений здесь на смежных ветках вполне хватает).
я сам уже множество раз в итоге пролетал жалея о безвозвратно затраченных времени и усилиях
по целому ряду технологий довольно в короткое время (а в более длинных промежутках неизбежно всё тленно)
...
Рейтинг: 0 / 0
profiler
    #40043777
montoya.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
montoya.,

...
Рейтинг: 0 / 0
profiler
    #40043779
montoya.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vikkiv

Можно конечно ещё посмотреть сколько child Threads на процессоре от SSAS висит


висит ещё 53 Threads, ожидание = нет ничего.


vikkiv

После создания агрегаций неплохо-бы убедиться что они вообще используются

да походу не используется, тоже просьба подсказать куда смотреть?

vikkiv

Ну и собственно сам запрос разбирать, OLAP как-бы тоже в первую очередь под SET операции предназначен
(при этом на него стараются больше и больше повесить другого),

полностью согласен, но бизнесс требует "быстрый решений" что бы бизнесс работал нужно их выдавать....
...
Рейтинг: 0 / 0
profiler
    #40043838
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
montoya.
а куда идти?
QlikView :)
Для него и 200млн не проблема.
...
Рейтинг: 0 / 0
profiler
    #40043841
montoya.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
вообщем проблему нашёл
откатил назад пару релизов
и нашлось то, что всё портило.

спасибо за внимание.
...
Рейтинг: 0 / 0
9 сообщений из 9, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / profiler
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]