powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / SSAS: максимальное число мер и измерений в пивоте Excel
19 сообщений из 19, страница 1 из 1
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579141
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем привет!

Имею сервер с 16ядрами по 2,5ГГц, 128Гб RAM, Sql Server 2014.

Есть DWH на 150Гб, порядка 250млн записей, денормализованое. На нем крутится Multidimensional кубик. 6 групп мер, порядка 20 дименшенов

Проблема в том, что я устал биться с пользователями. Они хотят повытаскиватькучу измерений и мер в пивот и смотреть это в экселе. Соответственно все это работает долго. Я поприменял все советы по оптимизации. Но юзеры всё равно недовольны.

Тут на форуме часто пишут, что громадные DWH отлично перевариваются кубами. Какие у вас объемы и сколько мер и измерений можно вытащить в экселе, чтобы отчет построился до 30 секунд?
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579146
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,
осталось применить последний совет: поменяйте юзеров.
если у них остается желание наповытягивать все, значит Ваш кубик не решает их задачи.
а с этим можно бороться только двумя способами - последний уже озвучил, а первый из всех значительно сложнее, затратнее, проблемнее и т.п.: понять Ваших юзеров, а затем, предоставить им не просто кубик, а удобное средство для решения их задач и достижения целей.
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579148
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

Если им нужны отчеты-простыни, то делайте их в RS.
Если пользователи хотят иметь их в экселе, то сделайте вызов RS-отчетов через action
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579149
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87повытаскивать кучу измерений и мер в пивот и смотреть это в экселе - сколько атрибутов измерений и мер возвращается в эксель в этом случае?
- если смотреть профайлером какой элемент mdx скрипта самый "долгий" в этом случае?
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579150
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

Как вариант - проведите им ликбез по T-SQL и как интегрировать запросы в эксель.
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579153
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Им подавай self-service, ad-hoc и прочие модные словечки, которые продавали им менеджеры. Отчеты на RS конечно же есть
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579154
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаT87повытаскивать кучу измерений и мер в пивот и смотреть это в экселе - сколько атрибутов измерений и мер возвращается в эксель в этом случае?
- если смотреть профайлером какой элемент mdx скрипта самый "долгий" в этом случае?
Порядка 10-12 измерений и 3 мер.
Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализировать
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579155
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Так все-таки, поделитесь размерами своих кубов и пивотов?
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579158
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87Порядка 10-12 измерений и 3 мер.
Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализироватьтогда, простите, причём тут эксель и пользователи которые с ваших слов аки монстры??
при "сложных" кубах проектирование в лоб не прокатывает...
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579162
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ДедушкаT87Порядка 10-12 измерений и 3 мер.
Долгие m2m, но от них не убежать. Есть правда еще parent-child, который я собираюсь натурализироватьтогда, простите, причём тут эксель и пользователи которые с ваших слов аки монстры??
при "сложных" кубах проектирование в лоб не прокатывает...
Так я ж и прошу поделиться опытом. И понять нужно ли еще копать в оптимизацию...
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579307
Ирвин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
T87,

попробуй табулярку, должно влезть, и будет быстрее работать.
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579325
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ИрвинT87,

попробуй табулярку, должно влезть, и будет быстрее работать.
Да, это один из следующих планов.
Был еще вариант ROLAP + Columnstore
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579339
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87Был еще вариант ROLAP + Columnstore
Про это в этой ветке куча высказываний от Воронина из WildBerries, он фанат этой связки.
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579391
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SSAS покрывает широкий спектр бизнес задач и Excel всего-лишь один (из многих) интерфейсов, Excel хорошо работает (всё остальное не для него) с моделью звезда и плоскими измерениями, там генератор MDX не принимает во внимание модель данных (просто не знает, т.е. одно примитивное решение для всех случаев) - соответственно никак не сможет сгенерировать оптимальный запрос при более сложных моделях куба.. следовательно есть дерево возможных решений:
- если уже всё оптимизировано оставить как есть (если бюджет на другие решения не выделен) или наращивать процессорные (железные) мощности, в общем профайлер (оба: SQL и Windows) в руки и вперёд узкие места искать..
- работать с пользователями на тему как оптимальнее пользоваться Excel с имеющимися кубами (что в фильтрах, что на осях, когда добавлять меры, куда и где что-то сначала выставить прежде чем обновлять) вплоть до варианта где Excel/Pivot а где другие инструменты (от прямого/оптимизированного MDX под Pivot через VBA и до..).
- писать под круг задач свой UI / генератор MDX запросов который будет учитывать нюансы модели данных.

Так что если бизнес-спонсоры кидают модные слова то пускай финансируют проект (выделяют адекватный бюджет), участвуют в оценке, формируют требования - нанимайте архитектора и собирайте команду разработчиков
Иначе за бесплатно можно много чего хотеть - классическая дилемма не ограниченных потребностей против ограниченных возможностей (системы).

Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает.
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579642
T87
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkivSSAS покрывает широкий спектр бизнес задач и Excel всего-лишь один (из многих) интерфейсов, Excel хорошо работает (всё остальное не для него) с моделью звезда и плоскими измерениями, там генератор MDX не принимает во внимание модель данных (просто не знает, т.е. одно примитивное решение для всех случаев) - соответственно никак не сможет сгенерировать оптимальный запрос при более сложных моделях куба.. следовательно есть дерево возможных решений:
- если уже всё оптимизировано оставить как есть (если бюджет на другие решения не выделен) или наращивать процессорные (железные) мощности, в общем профайлер (оба: SQL и Windows) в руки и вперёд узкие места искать..
- работать с пользователями на тему как оптимальнее пользоваться Excel с имеющимися кубами (что в фильтрах, что на осях, когда добавлять меры, куда и где что-то сначала выставить прежде чем обновлять) вплоть до варианта где Excel/Pivot а где другие инструменты (от прямого/оптимизированного MDX под Pivot через VBA и до..).
- писать под круг задач свой UI / генератор MDX запросов который будет учитывать нюансы модели данных.

Так что если бизнес-спонсоры кидают модные слова то пускай финансируют проект (выделяют адекватный бюджет), участвуют в оценке, формируют требования - нанимайте архитектора и собирайте команду разработчиков
Иначе за бесплатно можно много чего хотеть - классическая дилемма не ограниченных потребностей против ограниченных возможностей (системы).

Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает.
Можете описать, что подразумевается под словом "летает"? Именно касательно экселя
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579779
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
T87,

На Excel уверен что будет тормозить (т.к. в лоб не предназначен для сложных моделей), выше было предложение написать свой generator MDX (у нас он встроен в свой UI) который знает нюансы модели данных, а не полагается на то что сочинит Excel или как это преобразует внутренний оптимизатор запросов SSAS.
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579882
Гулин Федор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vikkivT87,

На Excel уверен что будет тормозить (т.к. в лоб не предназначен для сложных моделей), выше было предложение написать свой generator MDX (у нас он встроен в свой UI) который знает нюансы модели данных, а не полагается на то что сочинит Excel или как это преобразует внутренний оптимизатор запросов SSAS.

Если я правильно понял у вас свой GUI (веб или десктоп ?)
к-й настраивается и юзеры лазят к кубу через него ?
Сдаетмя мне кроме высокой квалификации
Если не секрет примерно сколько людей это писало и сколько по времени плюс-минус.

зы да и чисто интресно - он и к MDM и к Tabular умеет стучаться ?
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39579898
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гулин Федор,

детали по известным причинам раскрывать не могу, в общих чертах - такой проект может около года занимать, команда явно больше 10ти (там и интеграторов много от Индийского TCS и до Польского Люксофта), там ядро/engine на Сях написано, сейчас GUI - Web на .Net/Angualr - но в архитектурно что к ядру цеплять для drag-n-drop (хотя и с ограниченной гибкостью т.к. писалось для узкого круга определённых требованиями задач, след. ..к MDM и к Tabular.. не стучится) вопрос чисто локальныx приоритетов.
...
Рейтинг: 0 / 0
SSAS: максимальное число мер и измерений в пивоте Excel
    #39581103
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
T87vikkiv...

Только что закончил схожий проект с тысячами партиций, кучей групп мер (в некоторых под тысячу физических мер), каскадными M2M, измерениями на миллионы элементов по некоторым из сотни атрибутов - и ничего: всё более-менее летает.
Можете описать, что подразумевается под словом "летает"? Именно касательно экселя
Гм, на своем опыте. Проект энергетиков, много мер (более 600), измерений (более 50), M2M каскадные - то есть привязка через цепочку M2M. Основной клиент - Excel, возможности для разработки собственного клиента нет. Данных - средне по местным меркам, куб MOLAP на несколько терабайт. Сервер SSAS скромный.
Результат - относительно простые запросы пользователи делают сами через Excel pivot. Максимальное время ожидания - до 30 сек, или не умещается в pivot по количественным ограничениям.
Как добиться. Основные пути - партицирование с обязательным slice, подбор размера партиции M2M. Партиций много, требуется генератор и прочие танцы с бубном.
...
Рейтинг: 0 / 0
19 сообщений из 19, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / SSAS: максимальное число мер и измерений в пивоте Excel
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]