ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Задача на Distinct Count для GSM-логов
25 сообщений из 82, страница 3 из 4
  3  все
Задача на Distinct Count для GSM-логов
    #32527228
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
Во-первых для нашей задачи достаточно простого Count, а не DC, раз мы ходим по Абонентам.
Во-вторых, MS AS едиственный MOLAP, который умеет физически агрегировать DC и довычислять его on fly.
...
Рейтинг: 0 / 0
21.05.2004, 01:39
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32527418
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
Владимир,

Я вот чего не понимаю насчет Distinct Count:

Как говорит г-н Моша:
В этой ситуации MS AS не возврашает неверный результат, а возвращает ошибку "Aggregations are not supported for the DISTINCT COUNT measure".

В то же время Константин спрашивает (видимо не понимая ответ Моши):
но я не понимаю, как можно Distinct Count по произвольному периоду в агрегатах держать

И ты отвечаешь:
Во-вторых, MS AS едиственный MOLAP, который умеет физически агрегировать DC и довычислять его on fly.

Ты согласен с ответом Моши? Или ты имеешь в виду только вычисление DC для фиксированных узлов/листьев измерений, которые заложены в иерархию куба?
И вопрос к твоим знакомым из отдела маркетинга Microsoft: знают ли они алгоритмы работы с DC, заложенные в другие OLAP-сервера, например в Cognos PowerPlay, когда говорят о "единственности MS AS"?
...
Рейтинг: 0 / 0
21.05.2004, 09:34
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32527761
Константин Лисянский
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Константин Лисянский
Участник
Во-первых для нашей задачи достаточно простого Count, а не DC, раз мы ходим по Абонентам.

Вот этого я тоже не понимаю. Если, конечно мы зафиксируем задачу на уровне хождения только по агрегатам, привязанным к измерению Абонентов, то да, согласен, для каждого абонента храним сколько он звонков сделал за предопределённый период времени (в соответствии со структурой последнего). Если же требуется информация по произвольным периодам, то я не знаю, как для решения этой задачи могут помочь агрегаты - DC суть неагрегируемая величина.

Ну, а по поводу уникальности MS AS ссылка на достоверный источник о его единственности в плане этой замечательной возможности не помешала бы. Если мне не изменяет склероз, то Distinct Count - это стандартная фича в Cognos PowerPlay (естественно, по заранее определённым уровням иерархии, правильно, Юра?)


С уважением,
Константин Лисянский
http://lissianski.narod.ru
...
Рейтинг: 0 / 0
21.05.2004, 11:49
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32527864
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
Константин,

Если мне не изменяет склероз, то Distinct Count - это стандартная фича в Cognos PowerPlay

Да, DC - это стандартная функциональность PowerPlay, показатель DC делается несколькими кликами мышки (нужно просто указать координаты уровня иерархии, элементы которого будут подсчитываться - измерение, в котором он находится, и его уровень). В кубе PowerPlay может быть более одного (несколько или много) показателей типа DC.

естественно, по заранее определённым уровням иерархии, правильно, Юра?

А вот тут Вы либо не правы, либо нечетко сформулировали. Что значит "по заранее определённым уровням иерархии"?
Например, у меня есть показатель DC - Количество клиентов, и ось времени Год-Месяц-День. Я легко могу с помощью операции СВЕРТКА в интерфейсе конечного пользователя вычислить Количество клиентов за произвольный период времени (с любой даты по любую).
Это одно из сильнейших конкурентных преимуществ Cognos над MS AS. Пользователям MS AS нужно ждать выхода Юкона, в нем должна появиться возможность свертки, но Юкон как известно выйдет в лучшем случае через год...
...
Рейтинг: 0 / 0
21.05.2004, 12:24
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32528621
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
Константин, я советую вам на досуге поиграться с MDX. Там есть много продуктивных идей. В Юконе он станет серверным и скорее всего станет "де-факто" стандартным языком для MOLAP.

В формуле обсуждавшейся выше прописано, что обходить по Абонентам.
Конечно в отчете измерение Абоненты ракрыто редко, если выбраны другие измерения формула все равно сканирует Абонентов, но учитывает выбранные значения в других измерениях.

Если говорить о DC в Cognos и MS AS, то ограничения MS AS связанны с наличием того что в MS AS мы имеем настоящий ФИЗИЧЕСКИЙ DC, а в Cognos он on fly - т.е. эмуляция реальной агрегации. Понятное дело что при кубе с большим количеством фактов и измерений MS AS делает на DC всех, т.к. ФИЗИЧЕСКИ агрегирует DC. Такая агрегация довольно сложна, т.к. не аддитивна, я сомневаюсь, что кроме MS в ближайшее время кто-то будет иметь такой же DC.
Наличие ограничения на DC по произвольному периоду несущественно, если у вас хорошо проработанное измерение Времени и оно содержит в себе стандратные периоды (месяцы, декады, недели, дни). Пользователю в 95% случаев нужен отчет не за произвольный период, а за отчетный период или его стандартный квант. Поэтому я даже в обычных отчетах не рекомендую использовать произвольные периоды, т.к. стандартные быстрее работают и их удобнее выбирать.
...
Рейтинг: 0 / 0
21.05.2004, 16:15
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32528754
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
Владимир,

Понятное дело что при кубе с большим количеством фактов и измерений MS AS делает на DC всех, т.к. ФИЗИЧЕСКИ агрегирует DC.

Не согласен. количество фактов и измерений практически не влияет на скорость расчета DC. Самый важный фактор - это количество листьев, которые обсчитываются. К счастью много листьев (больше миллиона) бывает в кубах не так часто, и еще реже по ним считают DC.

Наличие ограничения на DC по произвольному периоду несущественно
Пользователю в 95% случаев нужен отчет не за произвольный период, а за отчетный период или его стандартный квант

Это конечно так, но бывает 5% случаев, когда требуется произвольный период :)

Напомню кстати, что DC в Cognos агрегируется ФИЗИЧЕСКИ с помощью External Rollup, и при этом пропадает возможность делать отчеты с этим показателем за произвольный период.
...
Рейтинг: 0 / 0
21.05.2004, 17:13
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32528795
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
Количество фактов не влияет только MS AS, точнее влияет только на процессирование. В других системах для подсчета DC нужно все время доставать до фактов, т.к. DC не аддитивен.
...
Рейтинг: 0 / 0
21.05.2004, 17:34
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32528820
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Пользователю в 95% случаев нужен отчет не за произвольный период, а за отчетный период или его стандартный квант. Поэтому я даже в обычных отчетах не рекомендую использовать произвольные периоды, т.к. стандартные быстрее работают и их удобнее выбирать.

Кому как. Очень часто необходимы расчеты скользящего среднего и прочие развитые аналитики.

Не согласен. количество фактов и измерений практически не влияет на скорость расчета DC. Самый важный фактор - это количество листьев, которые обсчитываются. К счастью много листьев (больше миллиона) бывает в кубах не так часто, и еще реже по ним считают DC.

Размер таблицы фактов еще как влияет.

Из практики - DC как раз и считается по большим измерениям, где лимон листьев - обычное дело.
...
Рейтинг: 0 / 0
21.05.2004, 17:47
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32528907
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
To Владимир & backfire:

В других системах для подсчета DC нужно все время доставать до фактов, т.к. DC не аддитивен.
Размер таблицы фактов еще как влияет.

Не знаю как во всех системах, но в Cognos PowerPlay вряд ли нужно доставать до фактов - думаю существует более хотрый алгоритм. У меня есть кубик с демо-данными для розницы (140 миллионов записей, по 100 тысячам товаров, по 10 тысячам владельцам дисконтных карт, за 3 года, есть еще кассы и кассиры). Когда я работаю с DC для касс и кассиров - все летает, поскольку их немного, когда подсчитываются более ветвислые товары и клиенты - там DC притормаживает на неразогретом кэше)...
...
Рейтинг: 0 / 0
21.05.2004, 18:45
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32528970
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
2Юра. Если это так, то Cognos умеет делать физ. агрегацию DC. Однако ты ранее это сам отрицал.

2backfire. У нас клиенты довольно часто используют скользящие показатели.
В нашем типовой методичке по внедрению по ним страниц 20.
Скользящий показатель не обязательно должен работать на группе выбранных периодов по дням как произвольный период. Если вы об этом.
...
Рейтинг: 0 / 0
21.05.2004, 20:14
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32529049
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
Я хотел еще добавить, что в AS, Distinct Count может быть определен не только по измерению (dimension) а по любой колонке в fact table. Т.е. если надо посчитать сколько было distinct Web page visitors скажем на microsoft.com, то не обязательно создавать измерение Visitor (которое будет много миллионов элементов).

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
21.05.2004, 21:52
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32529052
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Иванову.

Объясните тогда пожалуйста, какой прок от предаггрегаций DC если нам надо иметь данные за май, апрель и март? Эти месяцы не относятся к одному кварталу, поэтому наличие аггрегаций DC ни для уровня дня ни для уровня месяца ни квартала не помогут при определении и MS AS как миленький должен будет спуститься до голых фактов и шерстить их.

Если я в свох рассуждениях щаблуждаюсь, то проясните пожалуйста, ы чем я не прав.

Второй часто встречаемый Use Case - количество клиентов покупавших товары или А, или Б, или С в рассматривемом периоде. При этом не существует группы товаров, которая образована А, Б и С
...
Рейтинг: 0 / 0
21.05.2004, 21:56
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32529060
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
backfireОбъясните тогда пожалуйста, какой прок от предаггрегаций DC если нам надо иметь данные за май, апрель и март? Эти месяцы не относятся к одному кварталу, поэтому наличие аггрегаций DC ни для уровня дня ни для уровня месяца ни квартала не помогут при определении и MS AS как миленький должен будет спуститься до голых фактов и шерстить их

Согласно этой логике, даже если надо получить DC за квартал а аггрегация на уровне месяц, то надо "шерстить факты". Однако это не так. MS AS все равно может воспользоваться такой аггрегацией (хотя по другому чем в случае с аддитивными мерами). Ну а Юкон может пользоваться аггрегациями и для того чтобы ответить на вышеперечисленные вопросы.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
21.05.2004, 22:03
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32529066
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Моше

Сможет или уже может?

/topic/75245&pg=-1#556357

Где можно пообщаться, чтобы не повлечь нарушения НДА.

На английском писать влом :-)
...
Рейтинг: 0 / 0
21.05.2004, 22:10
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32529069
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Согласно этой логике, даже если надо получить DC за квартал а аггрегация на уровне месяц, то надо "шерстить факты".

NonEmptyCrossJoin - достаточно мощная штука и умеет хорошо "шерстить факты" без создания меры типа DC.
...
Рейтинг: 0 / 0
21.05.2004, 22:14
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32530108
Jurii
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jurii
Участник
Владимир,

Когда я работаю с DC для касс и кассиров - все летает, поскольку их немного, когда подсчитываются более ветвислые товары и клиенты - там DC притормаживает на неразогретом кэше)...
Если это так, то Cognos умеет делать физ. агрегацию DC. Однако ты ранее это сам отрицал.

Я и сейчас отрицаю, что Cognos делает полную физ. агрегацию DC - если бы это было так, то размер кубов был бы не такой компактный. Возможно он делает частичную агрегацию. Но скорее всего Cognos использует хитрый алгоритм, например налету смотрит, какие клиенты покупали что-то в один период времени, в другой период, сравнивает эти списки клиентов и вычисляет DC - при этом не нужно опускаться до работы с таблицей фактов...
...
Рейтинг: 0 / 0
24.05.2004, 10:28
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32531673
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
Mosha Ну а Юкон может пользоваться аггрегациями и для того чтобы ответить на вышеперечисленные вопросы.
backfireСможет или уже может?
Уже может.
backfireГде можно пообщаться, чтобы не повлечь нарушения НДА.

Скоро выйдет Beta 2 без NDA.

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
25.05.2004, 09:41
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32531736
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Моше

Ну хотя бы намекните, когда?
...
Рейтинг: 0 / 0
25.05.2004, 10:13
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32531750
Mosha
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mosha
Гость
Цитирую оффициальные источники: "We are still on track to deliver Beta 2 during the first half of 2004 (in the coming months)."

Моша
----------------------------------------------------
This posting is provided "AS IS" with no warranties, and confers no rights
...
Рейтинг: 0 / 0
25.05.2004, 10:16
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32531951
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
To Mosha

"first half of 2004 "

Т.е. в ближайшие 35 дней?

Ну что же посморим...
и порадуемся, если до наступления 01.07.2004 мы сможем в этом форуме открыто обсуждать Yukon.
...
Рейтинг: 0 / 0
25.05.2004, 11:23
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32535732
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
Обсуждать Юкон можно уже давно. Для этого есть закрытые форумы для участников тестирования.
...
Рейтинг: 0 / 0
27.05.2004, 02:55
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32535989
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Иванову.

Только вот вы там почему-то не пишете, я то же.
Тоже на английском влом писать?
...
Рейтинг: 0 / 0
27.05.2004, 10:22
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32539923
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
Почему пишу. Есть и русскоязычный, ближе чем вы думате.
...
Рейтинг: 0 / 0
29.05.2004, 23:20
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32540131
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Штепа
Участник
Поделитесь пожалуйста ссылочкой
...
Рейтинг: 0 / 0
30.05.2004, 20:17
| Ответить | Цитировать | Написать  
Задача на Distinct Count для GSM-логов
    #32540301
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владимир Иванов
Участник
В почту. Только без гарантии. Запуск в зверинец не от меня зависит.
...
Рейтинг: 0 / 0
31.05.2004, 00:48
| Ответить | Цитировать | Написать  
25 сообщений из 82, страница 3 из 4
  3  все
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Задача на Distinct Count для GSM-логов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]