Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / ssas: usage based aggregations - olap query log table filtering / 6 сообщений из 6, страница 1 из 1
06.07.2017, 19:29
    #39484090
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssas: usage based aggregations - olap query log table filtering
всем привет

делаю аггрегации по таблице использования
есть сомнения по поводу идеи (проверил на одном сервере, эффекта не видно):
в первую очередь делаем аггрегации для наборов, у которых сумма длительностей запросов максимальна - длительность~нагрузке(?)
->улучшение производительности по этим наборам наиболее разгрузит сервер(?) (более точная оценка разгрузки - длительность*эффективность аггрегации из BIDS hepler)

вместе с этим встречал что <300ms запросы нужно отфильтровывать (хотя обычно отфильтровывают только нулевые)

критикуем, не стесняемся ))))
...
Рейтинг: 0 / 0
06.07.2017, 19:49
    #39484097
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssas: usage based aggregations - olap query log table filtering
Evolex_,
мысль: может query subcube бывает с ненулевой длительностью из кэша
...
Рейтинг: 0 / 0
06.07.2017, 23:24
    #39484149
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssas: usage based aggregations - olap query log table filtering
Evolex_,

всё зависит .. структуру запросов надо смотреть и на что тратится время
агрегации это StorageEngine - если у тебя куча долго считающихся расчётных мер то это FormulaEngine / SubCube (которые конечно исходно питаются из StorageEngine)
т.е. агрегации нужны при хорошо настроенной структуре измерения (связи атрибутов в цепи иерархии) чтобы из листьев партиций данные не собирать
например пользователи пользуются кварталами а исходно грануляция фактов по дням - и чтобы не тянуть 30*3 дней берётся конечный показатель из квартала (или 3х из месяца)
на практике 85++% времени выполнения запросов тратиться на FormulaEngine а не на StorageEngine
у нас к примеру куча не связанных с фактами измерений - на элементы атрибутов которых MDXScript расчёты раскидывает при создании кэша субкуба в контексте каждой роли и агрегации не очень-то и помогают (да и в логе вроде как такие запросы к этим атрибутам не сильно распознаешь)
...
Рейтинг: 0 / 0
06.07.2017, 23:35
    #39484151
vikkiv
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssas: usage based aggregations - olap query log table filtering
итого - если-уж в ручную делать то я-бы отобрал долгие запросы, сгруппировал однотипные (т.е. использование одинаковых атрибутов) , редко встречающиеся выкинул, и у них смотрел частоту обращения к атрибутам у которых выполняются условия:
1) выше ключевого
2) есть цепи связей атрибутов (например длинна цепи больше 3, т.е. день-месяц-квартал / клиент-город-страна)
3) обращений ниже этого атрибута нет (т.е. всё равно из листьев не надо собирать)
4) соответствующая явная кардинальность в цепи связей : ниже=Х*больше (клиентов 100К, городов 200, стран 5 - а не продуктов 200, групп 250, отделов 190)
...
Рейтинг: 0 / 0
07.07.2017, 00:33
    #39484161
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssas: usage based aggregations - olap query log table filtering
vikkiv,

Это вроде бы все верно да, + я бы добавил Aggregation Design Best Practices

Я пока рассматриваю только добавление аггергаций + olap query log на более простом уровне, без связей атрибутов и оценки кардинальности, которое, вроде, должно было дать ощутимое уменьшение времени в журнале.

Изменения производительности пробую смотреть по тому же журналу olap query log - вроде бы тут нет FE(formula engine) (или, вдруг, есть - те 300ms которые кто-то рекомендовал отфильтровывать с этим связаны, возможно)

И вот меня смущает что взяв 80% запросов по суммарной длительности из журнала и сделав для них всех аггрегаты, изменений по тому же журналу не увидел. 80%*последние 2 колонки на приложенной картинке вроде должны что-то дать видимое улучшение Test Aggregation Performance

Завтра еще посмотрю что с длительностью по конкретным наборам стало - пока смотрел только в общем.
...
Рейтинг: 0 / 0
07.07.2017, 00:34
    #39484162
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ssas: usage based aggregations - olap query log table filtering
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / ssas: usage based aggregations - olap query log table filtering / 6 сообщений из 6, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]