ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS 2k О пользе агрегации.
17 сообщений из 17, страница 1 из 1
MS AS 2k О пользе агрегации.
    #32969949
Злобный ныпэрс
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Злобный ныпэрс
Гость
Собсно говоря в пользе subj никто не сомневается. Возьму на себя смелость провести паралель, что агрегаты в MS AS это как индексы в SQL, перфоменс там всякий и инкрейз спиид (sorry если кого покоробило). Пока правда не понятно по какому принципу MS AS эти агрегаты сам создает.
Имеется кубик на 20 измерений,10 мер, фактов 10М. Разные измерения от 700К элементов до 2-х. Самое глубокое на 4 уровня(оно же самое толстое). Запустил дизайн сторедж. Закал ВСЁ. Наколбасило мне более 200 агр-тов. Ладно. Смотрим чтож там насоздовалось (при помощи Partition Manager из SQL Res Kit). Так вот на самые мелкие/худые измерение агр-ты стоят через один. На измерение дат вообще ничего. На самом толстом агр-ты только на верхнем уровне....
Я так понимаю, что обладая опытом можно подобрать комбинацию которая удовлетворит/ускорит многим/ие запросам/сы. Ну так этож с опытом...Что-то понесло.
А конкретный вопрос такой. Могу ли я расчитывать, что при создании агр-та на пересечении [Время],[Товар],[Склад] и при запросе на срезе [Время],[Товар] этот агр-т будет использоваться, при запросе [Время],[Товар],[Тип движения] этот агр-т будет использоваться ?
Ну и если кто пояснит общие принципы этого черного ящика "СОЗДАНИЕ АГРЕГАТОВ" тому земной поклон, кефир и пончик ;)
...
Рейтинг: 0 / 0
20.03.2005, 03:16
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32970376
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Злобный ныпэрс
Ну и если кто пояснит общие принципы этого черного ящика "СОЗДАНИЕ АГРЕГАТОВ" тому земной поклон, кефир и пончик ;)

Однозначной инфы увековеченной в BOL на эту тему нет. Есть кое что в MSDN, но так, скорее из области шаманства с бубном.

Из моих личных наблюдений, сделаных не со вчера:
отношение числа элементов в уровне измерения к числу строк в таблице фактов является одним из определяющих факторов для принятия AS-м решения о аггрегации уровня. Но на сколько это решение является детерминированным я сказать не могу. Я лично в этом склонен сомневаться.
...
Рейтинг: 0 / 0
21.03.2005, 02:28
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32970400
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
backfireОднозначной инфы увековеченной в BOL на эту тему нет. Есть кое что в MSDN, но так, скорее из области шаманства с бубном
Инфа есть в совершенно неожиданном месте. Алгоритмы дизайна аггрегатов все запатентованы. Патенты обязаны быть public information доступной всем. Таким образом любой желающий может прочитать о том как это сделано. Наиболее интересные это следующие мои и Амира патенты:

6,456,999
6,374,234
6,366,905
6,438,537

Правда должен предупредить, что читать их очень сложно. Это не научно-популярная литература с MSDN, это то что lawyers сделали с математическими статьями которые мы им дали. У патентных лоеров задача сделать так чтобы патенты можно было обьяснить в суде, поэтому практически все формулы и выкладки они выкинули, и вместо них написали обьяснения на юридеческом английском юзыке, который например мне малопонятен. Тем не менее в этих патентах осталось довольно много полезной информации для тех кого это действительно интересует и кто готов потратить время чтобы разобраться как оно работает.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
21.03.2005, 05:36
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32970896
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex Fox
Участник
Кста, а вопрос был поставлен очень интерсный. Тот который основной. Будет ли агрегат восстребован если он сам только частично устраивает нас по условиям. Очень живо интересует. Может осуществится мечта голубая и рассосется тоска черно-белая. И разгонется все так, что не остановишь
Огромная надежда на замечания Экспертов.
Ну если Отцы Основатели чего скажут...по основному вопросу.
...
Рейтинг: 0 / 0
21.03.2005, 11:57
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32970911
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
Злобный ныпэрсА конкретный вопрос такой. Могу ли я расчитывать, что при создании агр-та на пересечении [Время],[Товар],[Склад] и при запросе на срезе [Время],[Товар] этот агр-т будет использоваться, при запросе [Время],[Товар],[Тип движения] этот агр-т будет использоваться ?
При запросе на срезе [Время],[Товар] этот агрегат будет использоваться, а при запросе [Время],[Товар],[Тип движения] этот агрегат не будет использоваться, если конечно [Тип движения] не является виртуальным измерением по Товару или по Складу.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
21.03.2005, 12:02
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32970994
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex Fox
Участник
Злобный ныпэрс...земной поклон, кефир и пончик ;)
Просто не знаю, что добить. Сенкс.
...
Рейтинг: 0 / 0
21.03.2005, 12:23
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32971248
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Алексу.

А что под "Злобный ныпэр" больше не пишем?
...
Рейтинг: 0 / 0
21.03.2005, 13:49
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32971914
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alex Fox
Участник
Полный OFF 8o(
Нормально да? А с какой такой радости я это не я, а кто то другой?
Это мне щас в конторе всех нагибать кто со мной на одних проксях и выяснять кто такой злой?
...
Рейтинг: 0 / 0
21.03.2005, 17:03
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32975774
Злобный ныпэрс
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Злобный ныпэрс
Гость
Так стоило на время отлучиться и началось... небольшое отступление
2 Alex Fox
вечером по пиву...
2 backfire (и кто из нас злой!?)
Ага типа без регистрации уже низзззя. Хотел обналичиться. Теперь принципиально не буду.

2 Mosha по существу, если не затруднит
Могу ли я после Вашего объяснения предположить следующее. Если имеем измерения [Время],[Товар],[Склад],[Тип движения],[Контрагент],[Договор],[География] то будет достаточно насоздовать несколько агрегатов содержащих ВСЕ измерения с некоторой комбинацией по уровням, начиная с нижних. И в этом случае подавляющие число запросов содержащих меншее кол-во срезов будет использовать эти агрегаты. Ну а на запросы по верхним уровням (в измерениях) MSAS вроде умеет результаты складывать.
Я правильно понял?
...
Рейтинг: 0 / 0
23.03.2005, 12:06
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32977403
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
автор2 Mosha по существу, если не затруднит
Могу ли я после Вашего объяснения предположить следующее. Если имеем измерения [Время],[Товар],[Склад],[Тип движения],[Контрагент],[Договор],[География] то будет достаточно насоздовать несколько агрегатов содержащих ВСЕ измерения с некоторой комбинацией по уровням, начиная с нижних. И в этом случае подавляющие число запросов содержащих меншее кол-во срезов будет использовать эти агрегаты. Ну а на запросы по верхним уровням (в измерениях) MSAS вроде умеет результаты складывать.
Я правильно понял?
Вы поняли правильно, но дело тут в том, что согласно Вашей логике агрегатов можно вообще не создавать, ибо MSAS умеет складывать с самого нижнего уровня :) Ну а если Вы хотите создать агрегаты более высоких уровней, то их количество растет экспоненциально по количеству атрибутов в кубе. Весь ум aggregation design алгоритма именно в том как найти оптимальное подмножество агрегатов. Впрочем доказано что это задача NP-complete, поэтому оптимального решения за полиномиальное время все равно не найти, поэтому и применяются разные там юристики и tree pruning.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
24.03.2005, 00:33
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32977415
Злобный ныпэрс
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Злобный ныпэрс
Гость
Большое человеческое спасибо ;)
Достаю бубен и начинаю...
тум...тум...тум...тум...тум...ая...ая...ая...
...
Рейтинг: 0 / 0
24.03.2005, 01:09
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32978049
Tomcat
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Tomcat
Гость
а в оракле надо явно указать, какие измерения и уровни агрегировать, а какие
считать налету, так что проблема прямо противоположная: как оптимально это сделать?
может немного не в тему, но все же ...

p.s. нет в жизни счастья
...
Рейтинг: 0 / 0
24.03.2005, 11:51
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32978431
олапист
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
олапист
Гость
имхо золотая середина это Usage-Based Optimisation
...
Рейтинг: 0 / 0
24.03.2005, 13:16
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32979482
Злобный ныпэрс
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Злобный ныпэрс
Гость
Не хочу быть назойливым, но еще один вопрос для меня пока в тумане.
Имеет ли значение порядок в котором агрегаты создаются, т.е. с верхних уровней к нижним или наоборот?
Я в том смысле умеет ли движок MSAS юзать уже созданные, в момент текущего процесса ? Это если идти снизу вверх z.B. [Месяц] -> [Год].

З.Ы.Моя благодарность будет безгранична. В разумных пределах. ;)
...
Рейтинг: 0 / 0
24.03.2005, 18:38
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32979633
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
Порядок в котором агрегаты определены в DSO не имеет влияния на скорость их построения, т.к. агрегаты строятся одновременно во время сканирования фактов.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
24.03.2005, 20:21
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32979682
Злобный ныпэрс
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Злобный ныпэрс
Гость
И еще раз гранд мерси. ;)
...
Рейтинг: 0 / 0
24.03.2005, 21:14
| Ответить | Цитировать | Написать  
MS AS 2k О пользе агрегации.
    #32979746
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
...а в MS SSABI есть утилита для визуального указания агрегации в нужных местах...
...
Рейтинг: 0 / 0
24.03.2005, 22:53
| Ответить | Цитировать | Написать  
17 сообщений из 17, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS 2k О пользе агрегации.
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]