Вопрос к специалистам по созданию/поддержке больших OLAP кубов - есть куб в котором 25 измерений и 6 мер, размер таблицы фактов - 500,000,000 строк. Глубина иерархий разная - от 1 до 4 уровней. Aggregations wizard после 3 часов работы выдал улучшение в 3%. Вопросы, собственно, в следующем:
1. какого рода hardware необходимо для поддержания такого куба и обеспечения приемлемого response time.
2. как увеличить эффективность Aggregation wizarda(очевидное решение это user-based optimization, но к сожалению много запросов просто не возвращаются поэтому приходится убивать MSAS и ProClarity).

Сейчас у нас вариант только один - вместо одного куба с 25 измерениями создать 4-5 с различными наборами этих измерении, но это может оказаться неприемлемым для пользователей, а они, как известно, всегда правы.

Заранее спасибо.

Пытались! :-) У нас 3 временных измерения на самом деле. Когда мы делаем партиции по месяцам то все равно Agregation Wizard больше 4% оптимизации не выдаёт. А данных нас на 15 лет назад...

Документик очень полезный, да вот только у них там всего 3 измерения было(соответственно все агрегаты влёт построились), а у нас 25! В общем, думаю, придется просто разбивать куб на кубы с меньшим количеством измерений.

На данный момент да, да и с выходом MS AS 2005 это становится всё более вероятным. Но в реальности мы готовы рассмотреть другие интересные варианты.

Я согласен, что это вариант, но что делать, если пользователь захочет выбрать members из измерения, которое не участвовало в аггрегациях? Как долго MSAS будет ответ считать?
Поэтому я и пытаюсь убедить пользоваталей дать мне пару-тройку наборов измерений(по 8-10 в каждом) вдоль которых и будет проводиться анализ. На етих наборах я и построю кубы.

To Jurii:

У нас проблема всё-таки не с количеством фактов, а с количеством измерений и с их глубиной. У MSAS тоже нету проблемы закачать и пол-миллиарда фактов на десктоп-компьютере.

Jurii2 kornal:

У нас проблема всё-таки не с количеством фактов, а с количеством измерений и с их глубиной. У MSAS тоже нету проблемы закачать и пол-миллиарда фактов на десктоп-компьютере.

Я делал кубики в PowerPlay с 50 измерениями, в каждом из которых было по 5 уровней иерархии, но при этом я не пробовал закачивать сотни миллионов записей... :)

Надо будет потестировать PowerPlay на примере, аналогичном Вашему. Сколько кстати у Вас мемберов (листьев) на нижних уровнях иерархии измерений? Есть ли измерения, содержащие сотни тысяч/миллионы мемберов?

Нет, таких больших измерений нет - максимальное количество это 4500 мемберов в одном из измерений, остальние измеряются парой сотен.

backfire kornal
есть куб в котором 25 измерений и 6 мер, размер таблицы фактов - 500,000,000 строк. Глубина иерархий разная - от 1 до 4 уровней. Aggregations wizard после 3 часов работы выдал улучшение в 3%.


kornal
Нет, таких больших измерений нет - максимальное количество это 4500 мемберов в одном из измерений, остальние измеряются парой сотен.

Уважаемый Корнал, исходя из моего опыта (куб с количествоим измерений до 40 и мер до 60 факт правда), я бы на вашем месте начал бы с того, что повыключал бы аггрегации на кроме листовых уровней и All.

Позвольте узнать, на каком железе эти 3% получили? Какое количество аггрегаций при этом было рассчитаны? А сколько длится процессинг куба. Иногда рассчет аггрегаций длится сутки, а процессинг куба несколько минут. Проблема в том, что рассчет аггрегаций идет в одном thread, что утилизирует максимум 1 процессор, а процессинг куба идет на всех.

Кстати вы партиции делаете? что является slicer? Сколько фактов льете в один раздел?


Спасибо, backfire, попробуем повыключать аггрегации на всех, кроме листовых уровней и All.
отвечаю на вопросы:
1. Железо: Dual Xeon 3.2Ghz, 1Gb RAM
2. количество аггрегаций: 2104 считал около 4 часов
3. Процессинг длился 3 суток т.к. данные закачиваются из Sybase IQ и партиция была одна. (собираемся кстати bcp out всё из IQ в MS SQL для скорости)
4. партиции делали на месяц(slicer), для эксперимента - количество месяцев у нас 156 количество фактов в разделе - не помню :).
5. Критерий - время отклика - когда MSAS начинал "тормозить"(т.е. сразу не возвращался с ответом) дождаться ответа уже не удавалось.
А для пользователей что является критерием? Время отклика?