Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Измерение время и производительность / 16 сообщений из 16, страница 1 из 1
02.12.2005, 22:33
    #33414988
Maverick_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Подскажите, пожалуйста, если у таблицы фактов джойн с таблицей измерения "Время" идет по реквизиту "Date" с типом datetime , а не по TimeID (тип Int ) как в Foodmarte . Это сказывается как-нибудь на производительности куба? Имеется ввиду не процессинг кубов и измерений, а производительность MDX запросов.
Я понимаю себе это так: если при процессенге измерения, с архитектурой MOLAP, все данные из хранилища "засасываются" и сохраняются в специальном формате то можно предположить, что в дальнейшем MDX запросы по типу int (длинна 4 байта) будут отрабатывать быстрее, чем по типу DateTime (8 байт). Или тормозов из за этого быть не может, и переделывать на TimeID не стоит?
Дело в том что когда я вытаскивая измерения время в строки (иерархия Год, Меся, Дата), а во второй и третьей группировки плоские измерения: Номенклатура 15000 всего мемберов, Контрагенты всего 25000 мемберов начинаются тормоза. Или такие проблемы начинаются всегда когда вытаскиваешь измерения с несколькими уровнями?
...
Рейтинг: 0 / 0
03.12.2005, 00:49
    #33415067
Maverick_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Надо заметить, что если в строках просто плоские измерения, все отрабатывает быстро.
...
Рейтинг: 0 / 0
03.12.2005, 09:31
    #33415148
Dmitry Biryukov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Maverick_Подскажите, пожалуйста, если у таблицы фактов джойн с таблицей измерения "Время" идет по реквизиту "Date" с типом datetime , а не по TimeID (тип Int ) как в Foodmarte . Это сказывается как-нибудь на производительности куба? Имеется ввиду не процессинг кубов и измерений, а производительность MDX запросов.не влияет
Maverick_
Я понимаю себе это так: если при процессенге измерения, с архитектурой MOLAP, все данные из хранилища "засасываются" и сохраняются в специальном формате то можно предположить, что в дальнейшем MDX запросы по типу int (длинна 4 байта) будут отрабатывать быстрее, чем по типу DateTime (8 байт). Или тормозов из за этого быть не может, и переделывать на TimeID не стоит?не стоит
Maverick_
Дело в том что когда я вытаскивая измерения время в строки (иерархия Год, Меся, Дата), а во второй и третьей группировки плоские измерения: Номенклатура 15000 всего мемберов, Контрагенты всего 25000 мемберов начинаются тормоза. Или такие проблемы начинаются всегда когда вытаскиваешь измерения с несколькими уровнями? а вы уверены, что хотите виеть одновременно 300 милионов ячеек? ставьте фильтры и всё будет более-менее быстро. и проблема не в производительности мдх, а в количестве возвращаемых данных
...
Рейтинг: 0 / 0
03.12.2005, 09:32
    #33415149
Dmitry Biryukov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Maverick_Надо заметить, что если в строках просто плоские измерения, все отрабатывает быстро.а клиент у вас какой
...
Рейтинг: 0 / 0
03.12.2005, 22:57
    #33415650
Maverick_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Тестировал на разных клиентах. В основном ориентируюсь на Excel2003 и OWC. Собственно нужно просто сводные таблицы, без всяких наворотов типа Action, раскраски ячеек, репозитариев и т.п. Куб обычный (не виртуальный), CM и СС нет. Да и таблица фактов жиденькая - 100 000 строк.

Dmitry Biryukovа вы уверены, что хотите виеть одновременно 300 милионов ячеек?

Понятно, что для анализа видеть одновременно такое количество строк нет необходимости. Что меня ставит в тупик, что сводная таблица в том же Excel, построенная на основе плоских данных (вьюха или данные на Excel листе) летает по сравнению со сводной прилинкованной к кубу на AS2000. Во многих случаях быстрее сделать DrillThrought и на этих данных построить сводную. Как объяснить пользователям, которые привыкли к более менее приемлемой скорости работы сводной таблицы? Сказать, что теперь мы используем хранилище данных и AS (специально созданные для этих целей) и теперь сюда нельзя тянуть это измерение т.к. у Вас все зависнет :(

Dmitry Biryukov ставьте фильтры и всё будет более-менее быстро. и проблема не в производительности мдх, а в количестве возвращаемых данных
Фильтры вообще беда, особенно мультивыбор. Кстати, об этом тоже надо не забыть сообщить пользователям :(
Вобщем AS2000 вещь в себе. Требует хорошего понимания своего внутреннего устройства. Иначе пипец.
...
Рейтинг: 0 / 0
05.12.2005, 10:48
    #33416534
awg1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Maverick_...Дело в том что когда я вытаскивая измерения время в строки (иерархия Год, Меся, Дата), а во второй и третьей группировки плоские измерения: Номенклатура 15000 всего мемберов, Контрагенты всего 25000 мемберов начинаются тормоза...
Поясните, что пользователи хотят увидеть на экране.
...
Рейтинг: 0 / 0
05.12.2005, 11:25
    #33416640
Dmitry Biryukov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Maverick_Тестировал на разных клиентах. В основном ориентируюсь на Excel2003 и OWC. Собственно нужно просто сводные таблицы, без всяких наворотов типа Action, раскраски ячеек, репозитариев и т.п. Куб обычный (не виртуальный), CM и СС нет. Да и таблица фактов жиденькая - 100 000 строк.

Dmitry Biryukovа вы уверены, что хотите виеть одновременно 300 милионов ячеек?

Понятно, что для анализа видеть одновременно такое количество строк нет необходимости. Что меня ставит в тупик, что сводная таблица в том же Excel, построенная на основе плоских данных (вьюха или данные на Excel листе) летает по сравнению со сводной прилинкованной к кубу на AS2000. Во многих случаях быстрее сделать DrillThrought и на этих данных построить сводную. Как объяснить пользователям, которые привыкли к более менее приемлемой скорости работы сводной таблицы? Сказать, что теперь мы используем хранилище данных и AS (специально созданные для этих целей) и теперь сюда нельзя тянуть это измерение т.к. у Вас все зависнет :(
Ну так и делайте пивот на плоской таблице. Размере таблицы фактов 100 тыс и кол-во ячеек более 300 млн - не самый подходящий случай использовать мс ас. когда будет наоборот (таблица фактов - 300 млн, а в кубе 100 тыс ячеек) тогда и почувствуете всю мощь мс ас :-)

Maverick_
Dmitry Biryukov ставьте фильтры и всё будет более-менее быстро. и проблема не в производительности мдх, а в количестве возвращаемых данных
Фильтры вообще беда, особенно мультивыбор. Кстати, об этом тоже надо не забыть сообщить пользователям :(
Вобщем AS2000 вещь в себе. Требует хорошего понимания своего внутреннего устройства. Иначе пипец. А это в любом деле так... или вы думали что покупка и установка софта решит все ваши проблемы?
...
Рейтинг: 0 / 0
05.12.2005, 13:17
    #33417070
Maverick_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Dmitry BiryukovНу так и делайте пивот на плоской таблице. Размере таблицы фактов 100 тыс и кол-во ячеек более 300 млн - не самый подходящий случай использовать мс ас. когда будет наоборот (таблица фактов - 300 млн, а в кубе 100 тыс ячеек) тогда и почувствуете всю мощь мс ас :-)
Делать пивот на плоской таблице - собственно так всегда и делали. Но хочется использовать ПО специально созданное для этого. Весомым аргументом в пользу AS2000 для меня является безопастность (раздача прав на измерения) без всякого доп. кодирования. От куда берутся 300 мл. ячеек мне так и непонятно... Строк гораздо меньше т.к. я делаю еще и фильтр (см. описание ниже).

Dmitry BiryukovА это в любом деле так... или вы думали что покупка и установка софта решит все ваши проблемы?
Нет, Дмитрий я так не думал. У меня достаточно опыта чтобы так не думать. Просто для каждого продукта есть свой порог сложности. Есть простые, элементарные вещи, которые в общем-то зачастую решаются стандартными мастерами, а все что сложнее требует опыта и определенных знаний. Microsoft кстати в своих программных продуктах исповедует такой подход. На мой взгляд, то что я хочу сделать - элементарно.

awg1Поясните, что пользователи хотят увидеть на экране.
Собственно на данный момент затык произошел в следующем: В строки вытащил время, сделал фильтр по месяцу и раскрыл до дат. В мерах выручка. Затем что бы посмотреть выручку по определенной группе контрагентов (Папка верхнего уровня) делаю фильтр. Контрагенты - несбалансированное измерение. Повторяет иерархию справочника контрагенты из 1С. Затем в строки вытаскиваю Код контрагента. В коде закодирована различная информация. Ясно, что лучше использовать более понятные вещи нежели какой-то код, но что поделаешь так уж привыкли пользователи. Причем измерение код я делал по разному: и как виртуальное измерение и как самостоятельное (всего 25000 мемберов). На этом этапе в отчете всего 160 строк.
Затем пользователь, например, захотел посмотреть с какого склада произошла отгрузка (измерение всего 1930 мемберов). Как только я вытаскиваю склад в строки третьей группировкой (в общем-то наверное не только склад) в Excel результата уже не дождаться (см. на картинке до того как я вытащил склад в строки).
Причем если все строить и пропустить первый шаг (измерение время) все шуршит довольно прилично. Может разбить измерение время на три части Дата, Месяц, Год?
...
Рейтинг: 0 / 0
05.12.2005, 13:19
    #33417078
Maverick_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
картинка:
...
Рейтинг: 0 / 0
05.12.2005, 14:08
    #33417245
Dmitry Biryukov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
MaverickОт куда берутся 300 мл. ячеек мне так и непонятно... Строк гораздо меньше т.к. я делаю еще и фильтр кол-во ячеек в кубе равно произведению кол-ва членов всех измерений. у вас в двух измерениях - десятки тысяч вот откуда милионы. Просто куб у вас sparse(разряжённый).
попробуйте номенклатуру и контрагентов объединить в одно измерение и его вытаскивать на ось
...
Рейтинг: 0 / 0
05.12.2005, 14:10
    #33417250
awg1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Maverick_...Собственно на данный момент затык произошел в следующем: В строки вытащил время, сделал фильтр по месяцу и раскрыл до дат.
А пользователям обязательно нужно развернуть месяц до дат. Если все-таки нет, то поместите время в область фильтров, тогда на конкретную дату все будет видно. При этом, если контрагентов разместить в правой части таблицы, а склады - в верху и установить флаги не показывать пустые строки и столбцы, пользователь сразу же увидит, что такого-то числа такой-то контрагент отгрузился на таком-то складе на такую-то сумму выручки, а всего... и т.д.
Эсли же все-таки интересует весь месяц, то я бы сделал так:
1. Создал бы виртуальное измерение День Месяца.
2. Измерение время располагал бы в области фильтров, а измерение День месяца использовал в табличной части.
PS. замечал, что чем больше измерений используется друг за другом, тем проблематичнее с этим работать, видимо сильно возрастает количество ячеек подвергающихся обработке.
Maverick_Может разбить измерение время на три части Дата, Месяц, Год?
Не делайте этого.
...
Рейтинг: 0 / 0
05.12.2005, 14:13
    #33417262
Dmitry Biryukov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
может ещё и Контрагенты и доп. код контрагента объединить в одно измерение?
...
Рейтинг: 0 / 0
05.12.2005, 14:15
    #33417266
awg1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
awg1 Maverick_Может разбить измерение время на три части Дата, Месяц, Год?
Не делайте этого.
Я имел ввиду - не разбивайте на разные измерения, но очень полезно для каждого уровня Измерения Время создать собственное виртуальное измерение.
...
Рейтинг: 0 / 0
05.12.2005, 14:17
    #33417270
Dmitry Biryukov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
awg1PS. замечал, что чем больше измерений используется друг за другом, тем проблематичнее с этим работать, видимо сильно возрастает количество ячеек подвергающихся обработке.
Точно! Ведь эксель посылает запросы с использованием crossjoin, который генерирует декартовое произведение измерений...
Сalc Member-ы есть в кубе?
...
Рейтинг: 0 / 0
05.12.2005, 14:57
    #33417377
Maverick_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
Всем, добрый день. Спасибо за отклики. CM пока в кубе нет. Сейчас попробую сделать дату как виртуальное измерение.
...
Рейтинг: 0 / 0
05.12.2005, 18:31
    #33418080
Maverick_
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Измерение время и производительность
авторможет ещё и Контрагенты и доп. код контрагента объединить в одно измерение?
Да так и было сделано.

С виртуальным "Днем недели" зашуршало. Спасибо.
Буду бороться дальше.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Измерение время и производительность / 16 сообщений из 16, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]