Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS 2k О пользе агрегации. / 17 сообщений из 17, страница 1 из 1
20.03.2005, 03:16
    #32969949
Злобный ныпэрс
Злобный ныпэрс
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Собсно говоря в пользе subj никто не сомневается. Возьму на себя смелость провести паралель, что агрегаты в MS AS это как индексы в SQL, перфоменс там всякий и инкрейз спиид (sorry если кого покоробило). Пока правда не понятно по какому принципу MS AS эти агрегаты сам создает.
Имеется кубик на 20 измерений,10 мер, фактов 10М. Разные измерения от 700К элементов до 2-х. Самое глубокое на 4 уровня(оно же самое толстое). Запустил дизайн сторедж. Закал ВСЁ. Наколбасило мне более 200 агр-тов. Ладно. Смотрим чтож там насоздовалось (при помощи Partition Manager из SQL Res Kit). Так вот на самые мелкие/худые измерение агр-ты стоят через один. На измерение дат вообще ничего. На самом толстом агр-ты только на верхнем уровне....
Я так понимаю, что обладая опытом можно подобрать комбинацию которая удовлетворит/ускорит многим/ие запросам/сы. Ну так этож с опытом...Что-то понесло.
А конкретный вопрос такой. Могу ли я расчитывать, что при создании агр-та на пересечении [Время],[Товар],[Склад] и при запросе на срезе [Время],[Товар] этот агр-т будет использоваться, при запросе [Время],[Товар],[Тип движения] этот агр-т будет использоваться ?
Ну и если кто пояснит общие принципы этого черного ящика "СОЗДАНИЕ АГРЕГАТОВ" тому земной поклон, кефир и пончик ;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.03.2005, 02:28
    #32970376
Владимир Штепа
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Злобный ныпэрс
Ну и если кто пояснит общие принципы этого черного ящика "СОЗДАНИЕ АГРЕГАТОВ" тому земной поклон, кефир и пончик ;)

Однозначной инфы увековеченной в BOL на эту тему нет. Есть кое что в MSDN, но так, скорее из области шаманства с бубном.

Из моих личных наблюдений, сделаных не со вчера:
отношение числа элементов в уровне измерения к числу строк в таблице фактов является одним из определяющих факторов для принятия AS-м решения о аггрегации уровня. Но на сколько это решение является детерминированным я сказать не могу. Я лично в этом склонен сомневаться.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.03.2005, 05:36
    #32970400
Mosha
Mosha
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
backfireОднозначной инфы увековеченной в BOL на эту тему нет. Есть кое что в MSDN, но так, скорее из области шаманства с бубном
Инфа есть в совершенно неожиданном месте. Алгоритмы дизайна аггрегатов все запатентованы. Патенты обязаны быть public information доступной всем. Таким образом любой желающий может прочитать о том как это сделано. Наиболее интересные это следующие мои и Амира патенты:

6,456,999
6,374,234
6,366,905
6,438,537

Правда должен предупредить, что читать их очень сложно. Это не научно-популярная литература с MSDN, это то что lawyers сделали с математическими статьями которые мы им дали. У патентных лоеров задача сделать так чтобы патенты можно было обьяснить в суде, поэтому практически все формулы и выкладки они выкинули, и вместо них написали обьяснения на юридеческом английском юзыке, который например мне малопонятен. Тем не менее в этих патентах осталось довольно много полезной информации для тех кого это действительно интересует и кто готов потратить время чтобы разобраться как оно работает.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.03.2005, 11:57
    #32970896
Alex Fox
Alex Fox
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Кста, а вопрос был поставлен очень интерсный. Тот который основной. Будет ли агрегат восстребован если он сам только частично устраивает нас по условиям. Очень живо интересует. Может осуществится мечта голубая и рассосется тоска черно-белая. И разгонется все так, что не остановишь
Огромная надежда на замечания Экспертов.
Ну если Отцы Основатели чего скажут...по основному вопросу.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.03.2005, 12:02
    #32970911
Mosha
Mosha
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Злобный ныпэрсА конкретный вопрос такой. Могу ли я расчитывать, что при создании агр-та на пересечении [Время],[Товар],[Склад] и при запросе на срезе [Время],[Товар] этот агр-т будет использоваться, при запросе [Время],[Товар],[Тип движения] этот агр-т будет использоваться ?
При запросе на срезе [Время],[Товар] этот агрегат будет использоваться, а при запросе [Время],[Товар],[Тип движения] этот агрегат не будет использоваться, если конечно [Тип движения] не является виртуальным измерением по Товару или по Складу.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.03.2005, 12:23
    #32970994
Alex Fox
Alex Fox
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Злобный ныпэрс...земной поклон, кефир и пончик ;)
Просто не знаю, что добить. Сенкс.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.03.2005, 13:49
    #32971248
Владимир Штепа
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Алексу.

А что под "Злобный ныпэр" больше не пишем?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.03.2005, 17:03
    #32971914
Alex Fox
Alex Fox
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Полный OFF 8o(
Нормально да? А с какой такой радости я это не я, а кто то другой?
Это мне щас в конторе всех нагибать кто со мной на одних проксях и выяснять кто такой злой?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
23.03.2005, 12:06
    #32975774
Злобный ныпэрс
Злобный ныпэрс
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Так стоило на время отлучиться и началось... небольшое отступление
2 Alex Fox
вечером по пиву...
2 backfire (и кто из нас злой!?)
Ага типа без регистрации уже низзззя. Хотел обналичиться. Теперь принципиально не буду.

2 Mosha по существу, если не затруднит
Могу ли я после Вашего объяснения предположить следующее. Если имеем измерения [Время],[Товар],[Склад],[Тип движения],[Контрагент],[Договор],[География] то будет достаточно насоздовать несколько агрегатов содержащих ВСЕ измерения с некоторой комбинацией по уровням, начиная с нижних. И в этом случае подавляющие число запросов содержащих меншее кол-во срезов будет использовать эти агрегаты. Ну а на запросы по верхним уровням (в измерениях) MSAS вроде умеет результаты складывать.
Я правильно понял?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 00:33
    #32977403
Mosha
Mosha
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
автор2 Mosha по существу, если не затруднит
Могу ли я после Вашего объяснения предположить следующее. Если имеем измерения [Время],[Товар],[Склад],[Тип движения],[Контрагент],[Договор],[География] то будет достаточно насоздовать несколько агрегатов содержащих ВСЕ измерения с некоторой комбинацией по уровням, начиная с нижних. И в этом случае подавляющие число запросов содержащих меншее кол-во срезов будет использовать эти агрегаты. Ну а на запросы по верхним уровням (в измерениях) MSAS вроде умеет результаты складывать.
Я правильно понял?
Вы поняли правильно, но дело тут в том, что согласно Вашей логике агрегатов можно вообще не создавать, ибо MSAS умеет складывать с самого нижнего уровня :) Ну а если Вы хотите создать агрегаты более высоких уровней, то их количество растет экспоненциально по количеству атрибутов в кубе. Весь ум aggregation design алгоритма именно в том как найти оптимальное подмножество агрегатов. Впрочем доказано что это задача NP-complete, поэтому оптимального решения за полиномиальное время все равно не найти, поэтому и применяются разные там юристики и tree pruning.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 01:09
    #32977415
Злобный ныпэрс
Злобный ныпэрс
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Большое человеческое спасибо ;)
Достаю бубен и начинаю...
тум...тум...тум...тум...тум...ая...ая...ая...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 11:51
    #32978049
Tomcat
Tomcat
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
а в оракле надо явно указать, какие измерения и уровни агрегировать, а какие
считать налету, так что проблема прямо противоположная: как оптимально это сделать?
может немного не в тему, но все же ...

p.s. нет в жизни счастья
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 13:16
    #32978431
олапист
олапист
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
имхо золотая середина это Usage-Based Optimisation
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 18:38
    #32979482
Злобный ныпэрс
Злобный ныпэрс
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Не хочу быть назойливым, но еще один вопрос для меня пока в тумане.
Имеет ли значение порядок в котором агрегаты создаются, т.е. с верхних уровней к нижним или наоборот?
Я в том смысле умеет ли движок MSAS юзать уже созданные, в момент текущего процесса ? Это если идти снизу вверх z.B. [Месяц] -> [Год].

З.Ы.Моя благодарность будет безгранична. В разумных пределах. ;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 20:21
    #32979633
Mosha
Mosha
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
Порядок в котором агрегаты определены в DSO не имеет влияния на скорость их построения, т.к. агрегаты строятся одновременно во время сканирования фактов.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 21:14
    #32979682
Злобный ныпэрс
Злобный ныпэрс
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
И еще раз гранд мерси. ;)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.03.2005, 22:53
    #32979746
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MS AS 2k О пользе агрегации.
...а в MS SSABI есть утилита для визуального указания агрегации в нужных местах...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS 2k О пользе агрегации. / 17 сообщений из 17, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]