|
|
|
ssas: usage based aggregations - olap query log table filtering
|
|||
|---|---|---|---|
|
#18+
всем привет делаю аггрегации по таблице использования есть сомнения по поводу идеи (проверил на одном сервере, эффекта не видно): в первую очередь делаем аггрегации для наборов, у которых сумма длительностей запросов максимальна - длительность~нагрузке(?) ->улучшение производительности по этим наборам наиболее разгрузит сервер(?) (более точная оценка разгрузки - длительность*эффективность аггрегации из BIDS hepler) вместе с этим встречал что <300ms запросы нужно отфильтровывать (хотя обычно отфильтровывают только нулевые) критикуем, не стесняемся )))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.07.2017, 19:29 |
|
||
|
ssas: usage based aggregations - olap query log table filtering
|
|||
|---|---|---|---|
|
#18+
Evolex_, мысль: может query subcube бывает с ненулевой длительностью из кэша ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.07.2017, 19:49 |
|
||
|
ssas: usage based aggregations - olap query log table filtering
|
|||
|---|---|---|---|
|
#18+
Evolex_, всё зависит .. структуру запросов надо смотреть и на что тратится время агрегации это StorageEngine - если у тебя куча долго считающихся расчётных мер то это FormulaEngine / SubCube (которые конечно исходно питаются из StorageEngine) т.е. агрегации нужны при хорошо настроенной структуре измерения (связи атрибутов в цепи иерархии) чтобы из листьев партиций данные не собирать например пользователи пользуются кварталами а исходно грануляция фактов по дням - и чтобы не тянуть 30*3 дней берётся конечный показатель из квартала (или 3х из месяца) на практике 85++% времени выполнения запросов тратиться на FormulaEngine а не на StorageEngine у нас к примеру куча не связанных с фактами измерений - на элементы атрибутов которых MDXScript расчёты раскидывает при создании кэша субкуба в контексте каждой роли и агрегации не очень-то и помогают (да и в логе вроде как такие запросы к этим атрибутам не сильно распознаешь) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.07.2017, 23:24 |
|
||
|
ssas: usage based aggregations - olap query log table filtering
|
|||
|---|---|---|---|
|
#18+
итого - если-уж в ручную делать то я-бы отобрал долгие запросы, сгруппировал однотипные (т.е. использование одинаковых атрибутов) , редко встречающиеся выкинул, и у них смотрел частоту обращения к атрибутам у которых выполняются условия: 1) выше ключевого 2) есть цепи связей атрибутов (например длинна цепи больше 3, т.е. день-месяц-квартал / клиент-город-страна) 3) обращений ниже этого атрибута нет (т.е. всё равно из листьев не надо собирать) 4) соответствующая явная кардинальность в цепи связей : ниже=Х*больше (клиентов 100К, городов 200, стран 5 - а не продуктов 200, групп 250, отделов 190) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.07.2017, 23:35 |
|
||
|
ssas: usage based aggregations - olap query log table filtering
|
|||
|---|---|---|---|
|
#18+
vikkiv, Это вроде бы все верно да, + я бы добавил Aggregation Design Best Practices Я пока рассматриваю только добавление аггергаций + olap query log на более простом уровне, без связей атрибутов и оценки кардинальности, которое, вроде, должно было дать ощутимое уменьшение времени в журнале. Изменения производительности пробую смотреть по тому же журналу olap query log - вроде бы тут нет FE(formula engine) (или, вдруг, есть - те 300ms которые кто-то рекомендовал отфильтровывать с этим связаны, возможно) И вот меня смущает что взяв 80% запросов по суммарной длительности из журнала и сделав для них всех аггрегаты, изменений по тому же журналу не увидел. 80%*последние 2 колонки на приложенной картинке вроде должны что-то дать видимое улучшение Test Aggregation Performance Завтра еще посмотрю что с длительностью по конкретным наборам стало - пока смотрел только в общем. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.07.2017, 00:33 |
|
||
|
|

start [/forum/topic.php?fid=49&msg=39484090&tid=1858190]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
158ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
53ms |
get tp. blocked users: |
2ms |
| others: | 14ms |
| total: | 272ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...