|
|
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
Всем привет! Имею сервер с 16ядрами по 2,5ГГц, 128Гб RAM, Sql Server 2014. Есть DWH на 150Гб, порядка 250млн записей, денормализованое. На нем крутится Multidimensional кубик. 6 групп мер, порядка 20 дименшенов Проблема в том, что я устал биться с пользователями. Они хотят повытаскиватькучу измерений и мер в пивот и смотреть это в экселе. Соответственно все это работает долго. Я поприменял все советы по оптимизации. Но юзеры всё равно недовольны. Тут на форуме часто пишут, что громадные DWH отлично перевариваются кубами. Какие у вас объемы и сколько мер и измерений можно вытащить в экселе, чтобы отчет построился до 30 секунд? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:00 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87, осталось применить последний совет: поменяйте юзеров. если у них остается желание наповытягивать все, значит Ваш кубик не решает их задачи. а с этим можно бороться только двумя способами - последний уже озвучил, а первый из всех значительно сложнее, затратнее, проблемнее и т.п.: понять Ваших юзеров, а затем, предоставить им не просто кубик, а удобное средство для решения их задач и достижения целей. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:23 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87, Если им нужны отчеты-простыни, то делайте их в RS. Если пользователи хотят иметь их в экселе, то сделайте вызов RS-отчетов через action ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:30 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87повытаскивать кучу измерений и мер в пивот и смотреть это в экселе - сколько атрибутов измерений и мер возвращается в эксель в этом случае? - если смотреть профайлером какой элемент mdx скрипта самый "долгий" в этом случае? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:30 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87, Как вариант - проведите им ликбез по T-SQL и как интегрировать запросы в эксель. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:31 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
Им подавай self-service, ad-hoc и прочие модные словечки, которые продавали им менеджеры. Отчеты на RS конечно же есть ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:38 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
ДедушкаT87повытаскивать кучу измерений и мер в пивот и смотреть это в экселе - сколько атрибутов измерений и мер возвращается в эксель в этом случае? - если смотреть профайлером какой элемент mdx скрипта самый "долгий" в этом случае? Порядка 10-12 измерений и 3 мер. Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализировать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:40 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
Так все-таки, поделитесь размерами своих кубов и пивотов? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:41 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87Порядка 10-12 измерений и 3 мер. Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализироватьтогда, простите, причём тут эксель и пользователи которые с ваших слов аки монстры?? при "сложных" кубах проектирование в лоб не прокатывает... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:48 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
ДедушкаT87Порядка 10-12 измерений и 3 мер. Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализироватьтогда, простите, причём тут эксель и пользователи которые с ваших слов аки монстры?? при "сложных" кубах проектирование в лоб не прокатывает... Так я ж и прошу поделиться опытом. И понять нужно ли еще копать в оптимизацию... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.01.2018, 23:55 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87, попробуй табулярку, должно влезть, и будет быстрее работать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 12:53 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
ИрвинT87, попробуй табулярку, должно влезть, и будет быстрее работать. Да, это один из следующих планов. Был еще вариант ROLAP + Columnstore ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 13:30 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87Был еще вариант ROLAP + Columnstore Про это в этой ветке куча высказываний от Воронина из WildBerries, он фанат этой связки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 13:46 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
SSAS покрывает широкий спектр бизнес задач и Excel всего-лишь один (из многих) интерфейсов, Excel хорошо работает (всё остальное не для него) с моделью звезда и плоскими измерениями, там генератор MDX не принимает во внимание модель данных (просто не знает, т.е. одно примитивное решение для всех случаев) - соответственно никак не сможет сгенерировать оптимальный запрос при более сложных моделях куба.. следовательно есть дерево возможных решений: - если уже всё оптимизировано оставить как есть (если бюджет на другие решения не выделен) или наращивать процессорные (железные) мощности, в общем профайлер (оба: SQL и Windows) в руки и вперёд узкие места искать.. - работать с пользователями на тему как оптимальнее пользоваться Excel с имеющимися кубами (что в фильтрах, что на осях, когда добавлять меры, куда и где что-то сначала выставить прежде чем обновлять) вплоть до варианта где Excel/Pivot а где другие инструменты (от прямого/оптимизированного MDX под Pivot через VBA и до..). - писать под круг задач свой UI / генератор MDX запросов который будет учитывать нюансы модели данных. Так что если бизнес-спонсоры кидают модные слова то пускай финансируют проект (выделяют адекватный бюджет), участвуют в оценке, формируют требования - нанимайте архитектора и собирайте команду разработчиков Иначе за бесплатно можно много чего хотеть - классическая дилемма не ограниченных потребностей против ограниченных возможностей (системы). Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.01.2018, 15:44 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
vikkivSSAS покрывает широкий спектр бизнес задач и Excel всего-лишь один (из многих) интерфейсов, Excel хорошо работает (всё остальное не для него) с моделью звезда и плоскими измерениями, там генератор MDX не принимает во внимание модель данных (просто не знает, т.е. одно примитивное решение для всех случаев) - соответственно никак не сможет сгенерировать оптимальный запрос при более сложных моделях куба.. следовательно есть дерево возможных решений: - если уже всё оптимизировано оставить как есть (если бюджет на другие решения не выделен) или наращивать процессорные (железные) мощности, в общем профайлер (оба: SQL и Windows) в руки и вперёд узкие места искать.. - работать с пользователями на тему как оптимальнее пользоваться Excel с имеющимися кубами (что в фильтрах, что на осях, когда добавлять меры, куда и где что-то сначала выставить прежде чем обновлять) вплоть до варианта где Excel/Pivot а где другие инструменты (от прямого/оптимизированного MDX под Pivot через VBA и до..). - писать под круг задач свой UI / генератор MDX запросов который будет учитывать нюансы модели данных. Так что если бизнес-спонсоры кидают модные слова то пускай финансируют проект (выделяют адекватный бюджет), участвуют в оценке, формируют требования - нанимайте архитектора и собирайте команду разработчиков Иначе за бесплатно можно много чего хотеть - классическая дилемма не ограниченных потребностей против ограниченных возможностей (системы). Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает. Можете описать, что подразумевается под словом "летает"? Именно касательно экселя ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.01.2018, 13:05 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87, На Excel уверен что будет тормозить (т.к. в лоб не предназначен для сложных моделей), выше было предложение написать свой generator MDX (у нас он встроен в свой UI) который знает нюансы модели данных, а не полагается на то что сочинит Excel или как это преобразует внутренний оптимизатор запросов SSAS. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.01.2018, 16:54 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
vikkivT87, На Excel уверен что будет тормозить (т.к. в лоб не предназначен для сложных моделей), выше было предложение написать свой generator MDX (у нас он встроен в свой UI) который знает нюансы модели данных, а не полагается на то что сочинит Excel или как это преобразует внутренний оптимизатор запросов SSAS. Если я правильно понял у вас свой GUI (веб или десктоп ?) к-й настраивается и юзеры лазят к кубу через него ? Сдаетмя мне кроме высокой квалификации Если не секрет примерно сколько людей это писало и сколько по времени плюс-минус. зы да и чисто интресно - он и к MDM и к Tabular умеет стучаться ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.01.2018, 20:04 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
Гулин Федор, детали по известным причинам раскрывать не могу, в общих чертах - такой проект может около года занимать, команда явно больше 10ти (там и интеграторов много от Индийского TCS и до Польского Люксофта), там ядро/engine на Сях написано, сейчас GUI - Web на .Net/Angualr - но в архитектурно что к ядру цеплять для drag-n-drop (хотя и с ограниченной гибкостью т.к. писалось для узкого круга определённых требованиями задач, след. ..к MDM и к Tabular.. не стучится) вопрос чисто локальныx приоритетов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.01.2018, 20:46 |
|
||
|
SSAS: максимальное число мер и измерений в пивоте Excel
|
|||
|---|---|---|---|
|
#18+
T87vikkiv... Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает. Можете описать, что подразумевается под словом "летает"? Именно касательно экселя Гм, на своем опыте. Проект энергетиков, много мер (более 600), измерений (более 50), M2M каскадные - то есть привязка через цепочку M2M. Основной клиент - Excel, возможности для разработки собственного клиента нет. Данных - средне по местным меркам, куб MOLAP на несколько терабайт. Сервер SSAS скромный. Результат - относительно простые запросы пользователи делают сами через Excel pivot. Максимальное время ожидания - до 30 сек, или не умещается в pivot по количественным ограничениям. Как добиться. Основные пути - партицирование с обязательным slice, подбор размера партиции M2M. Партиций много, требуется генератор и прочие танцы с бубном. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.01.2018, 15:03 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=26&tid=1858016]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
44ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
| others: | 238ms |
| total: | 383ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...