powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Тока не бейте
25 сообщений из 38, страница 1 из 2
Тока не бейте
    #32833499
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вопрос к администраторам MS AS: задача старая как мир: сделать куб, в котором объединить на уровне измерений факты из разных источников:
в первой витрине - скажем продажи - 5 мер и 40 измерений;
во второй - план продаж - 3 меры и 5 измерений (такие же как и в первой витрине)

есть первый способ (пока так и обходимся) - сделать объединенное View факта и плана и на ней построить один MS AS.

хочется узнать про другой способ - есть ли возможность на основе 2 таблиц фактов (из разных источников - поскольку планы часто меняются - особенно в процессе планирования) создать один куб - в котором были бы доступны меры из первой и второй витрины. Кто как обходится ?
...
Рейтинг: 0 / 0
Тока не бейте
    #32833517
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZoharВопрос к администраторам MS AS: задача старая как мир: сделать куб, в котором объединить на уровне измерений факты из разных источников:
в первой витрине - скажем продажи - 5 мер и 40 измерений;
во второй - план продаж - 3 меры и 5 измерений (такие же как и в первой витрине)

есть первый способ (пока так и обходимся) - сделать объединенное View факта и плана и на ней построить один MS AS.

хочется узнать про другой способ - есть ли возможность на основе 2 таблиц фактов (из разных источников - поскольку планы часто меняются - особенно в процессе планирования) создать один куб - в котором были бы доступны меры из первой и второй витрины. Кто как обходится ?

Я делал view на "Ist" таблицу фактов, в котором показывал только поля, соответствующие мерам и измерениям, присутствующим только в "Plan" таблицe фактов, а затем строил еще одно View которое делало Union на Plan-Table и Ist-View. Это и служило "таблицей фактов" для куба "Ist-Plan". (Если есть AS2KEE, то можно UNION не делать, а развести по партициям.
...
Рейтинг: 0 / 0
Тока не бейте
    #32834262
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Backfire - Хорошая мысль, но тогда получается, что из факта теряется часть измерений, без которых ну никак.
Трабл в том, что таблица фактов - на оперативном сервере доступна в определенные часы - ночью в основном и каждый раз ее запускать - нет возможности. А планы меняются ну чуть ли не каждый день - что заставляет перестраивать кубы регулярно. Может быть есть доки по этому вопросу или рекомендации MS, как можно строить хранилища на MS AS, если обязательно необходимо все показатели складывать в одну витрину ?

"Если есть AS2KEE, то можно UNION не делать, а развести по партициям." - что такое AS2KEE ??? Где достать и как работать, поподробнее пжст.
...
Рейтинг: 0 / 0
Тока не бейте
    #32834267
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А почему не построить виртуальный куб ? Или я чего-то упустил ?

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
Тока не бейте
    #32834321
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZoharBackfire - Хорошая мысль, но тогда получается, что из факта теряется часть измерений, без которых ну никак.
Трабл в том, что таблица фактов - на оперативном сервере доступна в определенные часы - ночью в основном и каждый раз ее запускать - нет возможности. А планы меняются ну чуть ли не каждый день - что заставляет перестраивать кубы регулярно. Может быть есть доки по этому вопросу или рекомендации MS, как можно строить хранилища на MS AS, если обязательно необходимо все показатели складывать в одну витрину ?

"Если есть AS2KEE, то можно UNION не делать, а развести по партициям." - что такое AS2KEE ??? Где достать и как работать, поподробнее пжст.

Analysis Services 2000 Enterprise Edition.
...
Рейтинг: 0 / 0
Тока не бейте
    #32834333
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
MoshaА почему не построить виртуальный куб ? Или я чего-то упустил ?

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights

Я тоже сначала строил виртуальный куб, но проблема или неудобство было в том, что все меры, которые есть и в плане и в факте (сумма продаж, например) надо было заменить Calculated Member, со всеми вытекающими последствиями для любимого NonEmptyCrossJoin и т.п.
...
Рейтинг: 0 / 0
Тока не бейте
    #32834367
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Поподробнее про виртуальный куб:
как я понял - мне нужно сделать 2 физических куба - факт продаж и план
а потом строю виртуальный куб ? где эти факты объединяются ? Так ?
В таком случае как происходит связка между измерениями ? Как сервер понимает, что план по группе продуктов связан с фактом по той же группе продуктов ? Какие нибудь есть проблемы с производительностью в таком случае ?
...
Рейтинг: 0 / 0
Тока не бейте
    #32834385
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZoharПоподробнее про виртуальный куб:
как я понял - мне нужно сделать 2 физических куба - факт продаж и план
а потом строю виртуальный куб ? где эти факты объединяются ? Так ?
В таком случае как происходит связка между измерениями ? Как сервер понимает, что план по группе продуктов связан с фактом по той же группе продуктов ? Какие нибудь есть проблемы с производительностью в таком случае ?

Очень просто. Вводите измерение "Сценарий", членами которого является "Факт" и множество ваших "Планов".
...
Рейтинг: 0 / 0
Тока не бейте
    #32834395
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
backfireЯ тоже сначала строил виртуальный куб, но проблема или неудобство было в том, что все меры, которые есть и в плане и в факте (сумма продаж, например) надо было заменить Calculated Member, со всеми вытекающими последствиями для любимого NonEmptyCrossJoin и т.п.
Virtual cubes для того и придуманы чтобы сливать данные с разными гранулярностями в один куб. А partitions придуманы для того чтобы сливать вместе данные из разных источников, но с одинаковой гранулярностью. Ваш метод аннилирует идею работы с разными гранулярностями, т.к. он урезает большую таблицу до гранулярности маленькой. А что если в маленькой есть измерение которого нет в большой ? А что если по Actual надо делать настоящий детальный анализ - идти в другой куб. Одним словом мне вся эта идея не нравится - она идет против дизайна AS2K.
Что касается проблем с NonEmptyCrossJoin - то эти проблемы все решаемы, да и наверное Zohar не пользуется такими "оптимизациями" - так что он может воспользоваться правильным подходом а не делать hacks.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
Тока не бейте
    #32834416
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mosha backfireЯ тоже сначала строил виртуальный куб, но проблема или неудобство было в том, что все меры, которые есть и в плане и в факте (сумма продаж, например) надо было заменить Calculated Member, со всеми вытекающими последствиями для любимого NonEmptyCrossJoin и т.п.
Virtual cubes для того и придуманы чтобы сливать данные с разными гранулярностями в один куб. А partitions придуманы для того чтобы сливать вместе данные из разных источников, но с одинаковой гранулярностью. Ваш метод аннилирует идею работы с разными гранулярностями, т.к. он урезает большую таблицу до гранулярности маленькой. А что если в маленькой есть измерение которого нет в большой ? А что если по Actual надо делать настоящий детальный анализ - идти в другой куб. Одним словом мне вся эта идея не нравится - она идет против дизайна AS2K.
Что касается проблем с NonEmptyCrossJoin - то эти проблемы все решаемы, да и наверное Zohar не пользуется такими "оптимизациями" - так что он может воспользоваться правильным подходом а не делать hacks.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights


Пускай это хак, но и NonEmptyCrossJoin, с вашего позволения тоже хак, все это попытки выжать максимум производительности.

А то что я зарезал все детали "Ist", не имеющиеся в "Plan", так это тоже не от хорошей жизни, а от безвыходности. Я пробовал иначе, но "обик здох", на моих объемах.
...
Рейтинг: 0 / 0
Тока не бейте
    #32834439
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну я согласен, иногда надо делать хаки чтобы выжать performance - это собственно наша вина, performance должен быть всегда супер без всяких хаков, но мы тоже не идеальны. Просто если Вам пришлось в какой-то конкретной ситуации применить хак - то это не означает, что все остальные тоже должны его применять, скорее всего у них ситуация другая и от этого хака им будет только хуже.
Так что Zohar - мой совет - виртуальный куб - но решать конечно Вам.

P.S. backfire: А что Вам теперь мешает ставить в фильтр NonEmptyCrossJoin настоящий measure, а не calculated member с ValidMeasure ?

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
Тока не бейте
    #32834443
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Хочу все-таки попробовать - по принципу, как задумывалось - а потом либо hack, либо отказаться совсем, что касается моих объемов - 10 000 000 записей в факте, вроде обычный куб считался минут 15.
...
Рейтинг: 0 / 0
Тока не бейте
    #32834469
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZoharХочу все-таки попробовать - по принципу, как задумывалось - а потом либо hack, либо отказаться совсем, что касается моих объемов - 10 000 000 записей в факте, вроде обычный куб считался минут 15.

А сколько у вас физических мер и сколько измерений, сколько членов в измерениях, какая степень аггрегации?
...
Рейтинг: 0 / 0
Тока не бейте
    #32834471
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mosha
P.S. backfire: А что Вам теперь мешает ставить в фильтр NonEmptyCrossJoin настоящий measure, а не calculated member с ValidMeasure ?



Я не понял, что значит "теперь"?
...
Рейтинг: 0 / 0
Тока не бейте
    #32834475
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вопрос к Моше - вообще можно ли как-то обойтись без создания аналитических marts ? А использовать - таблицы с фактами и индексами и справочники вокруг них, например - проблема многих аналитиков - трудность управления метаслоем данных, поэтому идут по самому простому варианту - делают одну общую view на оперативных серверах, закладывают все измерения из справочников и на ней строят кубы, потом жалуются на производительность - как кубов, так и времени построения. Как грамотно ? Сначала сделать shared dimencions - наиболее общие измерения для всех ? Но как потом привязать к таблице с фактами ?
...
Рейтинг: 0 / 0
Тока не бейте
    #32834866
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
мер - 5 (с планом 6)
измерений 7
самое большое измерение - содержит 5 уровней вложенности (одно)
все остальные: 2-3 уровня
количестов фактов - подошло до 10 000 000 записей.
...
Рейтинг: 0 / 0
Тока не бейте
    #32834894
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Попутно еще вопрос к Backfire и Mosha к политике построения справочников - как лучше всего делать - сделать как можно больше Shared Dimension и использовать для всех кубов ? А в таблицах фактов иметь только индексы ? Или только делать индивидуальные dimension для каждого из кубов ?

Мне кажется неудобным делать, скажем измерение время или продукты для каждого куба каждый раз, кроме того, проблема с обновлением справочников ?
Вообще - для чего предполагалось подобное разделение на Shared Dimension и local Dimensions ?

Еще попутный вопрос - названия измерений и мер не любит - символы ()//,-._ Что неудобно - например - хочется назвать посимпотичнее меру - Вес продукта (т.), чтобы в отчетности выглядело классно. Это как-то обходится? или есть места, где обозначаются характеристики мер и на клиенте это-как-то отображается ?
...
Рейтинг: 0 / 0
Тока не бейте
    #32835174
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZoharПопутно еще вопрос к Backfire и Mosha к политике построения справочников - как лучше всего делать - сделать как можно больше Shared Dimension и использовать для всех кубов ? А в таблицах фактов иметь только индексы ? Или только делать индивидуальные dimension для каждого из кубов?

У меня все измерения Shared и я не вижу особой необходимости делать их приватными.
...
Рейтинг: 0 / 0
Тока не бейте
    #32836041
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
backfireЯ не понял, что значит "теперь"?
Ну после того как мы починили баг в NonEmptyCrossJoin на virtual cubes, когда measures в фильтре, который Вы на этом форуме зарепортили несколько месяцев назад.

ZoharВопрос к Моше - вообще можно ли как-то обойтись без создания аналитических marts ? А использовать - таблицы с фактами и индексами и справочники вокруг них, например - проблема многих аналитиков - трудность управления метаслоем данных, поэтому идут по самому простому варианту - делают одну общую view на оперативных серверах, закладывают все измерения из справочников и на ней строят кубы, потом жалуются на производительность - как кубов, так и времени построения. Как грамотно ? Сначала сделать shared dimencions - наиболее общие измерения для всех ? Но как потом привязать к таблице с фактами ?
Я не очень понял вопрос, наверное у меня с терминологией проблемы - аналитические marts, справочники и метаслои данных - мне это все незнакомые понятия :(

ZoharПопутно еще вопрос к Backfire и Mosha к политике построения справочников - как лучше всего делать - сделать как можно больше Shared Dimension и использовать для всех кубов ? А в таблицах фактов иметь только индексы ?
Да - это классический data warehouse.

ZoharВообще - для чего предполагалось подобное разделение на Shared Dimension и local Dimensions ?
Private Dimensions давали две основные вещи:
1. INNER JOIN с fact table - т.е. members для которых нет записей не попадают в измерение
2. Процессить fact table & dimensions in single scan
3. Local cubes (там всегда private dimensions)

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
Тока не бейте
    #32836043
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mosha backfireЯ не понял, что значит "теперь"?
Ну после того как мы починили баг в NonEmptyCrossJoin на virtual cubes, когда measures в фильтре, который Вы на этом форуме зарепортили несколько месяцев назад.


Где пофиксили? Вы пообещали это сделать в sp4, но когда он выйдет, думаю что даже Вы не знаете? Про Юкон я вообще пока молчу.
...
Рейтинг: 0 / 0
Тока не бейте
    #32836062
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
backfireВы пообещали это сделать в sp4
SP4 не за горами. SP4 Beta уже по моему вышла или выйдет на днях.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
Тока не бейте
    #32836105
clrscr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
backfireУ меня все измерения Shared и я не вижу особой необходимости делать их приватными.
Уважаемый backfire, то есть Вы делаете измерение Shared, даже если оно участвует только в одном единственном кубе? Тогда, получается, имена измерений должны включать имена кубов, где используются. Правильно?
Интересно просто, существует ли какая-то общепринятая система именования :)
...
Рейтинг: 0 / 0
Тока не бейте
    #32836319
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
clrscrУважаемый backfire, то есть Вы делаете измерение Shared, даже если оно участвует только в одном единственном кубе? Тогда, получается, имена измерений должны включать имена кубов, где используются. Правильно?
Интересно просто, существует ли какая-то общепринятая система именования :)

1. Пока что у меня такого не было, что 1 из измерений использовалось только в 1 кубе.

2. Не вижу в этом совершенно никакой необходимости. Подкрепите примером, если вас не затруднит.
...
Рейтинг: 0 / 0
Тока не бейте
    #32836611
Zohar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
авторИнтересно просто, существует ли какая-то общепринятая система именования :)
Да, затронули серьезную тему - юзерам, которые едва знакомы с OLAP - например коммерческие, клиентские службы (ну совсем не тех. специалисты), но собственно которым и нужен OLAP - очень трудно сразу понять логику кубов. Приходится очень долго и нудно объяснять что с чем связано, может быть существуют средства документирования кубов - в частности измерений и степеней вложенности, обратившись к которому - конечный пользователь может увидеть возможности - drill down, порой люди даже не могут сформулировать задачу, но вращая (slice) кубы - находят что им нужно, либо осознают более конкретно задачу.
Может быть есть в MS AS - возможность включать текстовые описания раскрываемых измерений - было бы здорово - делаешь drill down - появляется новый подуровень и выскакивает подсказка на клиенте (типа помошника) - с описанием уровня или характеристикой.
Вообще - кто-нибудь озадачивался подобным вопросом - ведь популярность OLAP зависит от его понимания и наглядности. Порой работая с незнакомыми кубами - трудно разобраться - какую информацию они содержат, а главное - для кого он предназначался и на какие вопросы отвечал.
...
Рейтинг: 0 / 0
Тока не бейте
    #32836949
clrscr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
To backfire
Тема на самом деле пересекается со вчерашней веткой Go

Если Вы не против, лучше отвечу там :)
...
Рейтинг: 0 / 0
25 сообщений из 38, страница 1 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Тока не бейте
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]