Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / AWM, измерение TIME. / 25 сообщений из 25, страница 1 из 1
17.08.2005, 11:47
    #33220054
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Подскажите, пожалуйста, как правильно создавать измерение типа TIME, для которого определены атрибуты длительность периода и окончание. В данный момент создал такое измерение с иерархией год - квартал - месяц - день, схема star, level-base. Проблема в следующем - maintain измерения занимает 15 минут, куб с его участием час (в кубе полмиллиона фактов, и еще три небольших измерения) и при просмотре потом тормозил сильно (наверное агрегатов небыло) . Попробовал выделить ето измерение в отдельную партицию, указал ему галочку sparse, попросил считать агрегаты для всех уровней. Считалось 18 часов, в AWM не открывается уже минут 20 (оракл загружает проц на 100%). Комп 2800, 512 памяти.
Собственно интересуют советы и рекомендации, как бы ето оптимизировать, так как с такими временными затратами опытным путем долго будет.
...
Рейтинг: 0 / 0
17.08.2005, 12:29
    #33220202
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestСобственно интересуют советы и рекомендации, как бы ето оптимизировать, так как с такими временными затратами опытным путем долго будет.

А Вы создаете куб с компресией или без?
Если без, то первый совет (в лоб) попробуйте создавать куб с компресией.
...
Рейтинг: 0 / 0
17.08.2005, 12:44
    #33220264
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Alex_D LightestСобственно интересуют советы и рекомендации, как бы ето оптимизировать, так как с такими временными затратами опытным путем долго будет.

А Вы создаете куб с компресией или без?
Если без, то первый совет (в лоб) попробуйте создавать куб с компресией. Без. Сейчас поставил с компресией, посмотрим, может быть до вечера успеет :).
...
Рейтинг: 0 / 0
17.08.2005, 13:04
    #33220350
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Хм, загрузилось быстро - но вот только данных нет совсем.
...
Рейтинг: 0 / 0
17.08.2005, 13:19
    #33220425
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestБез. Сейчас поставил с компресией, посмотрим, может быть до вечера успеет :).

Не судите меня строго, я сам только начинаю разбираться с OLAP.


Но вот тут компресия помогла :))

Что бы я еще попробывал бы сделать:

1. Уменьшил бы количество фактов до 50 000. Чтоб эксперименты проходили быстрей.

2. Попробовал бы измерение времени сделать не Time Dimension а User Dimension.

3. Можно также поиграться порядком измерений в кубе и своиством sparse не sparse.
...
Рейтинг: 0 / 0
17.08.2005, 13:25
    #33220447
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestХм, загрузилось быстро - но вот только данных нет совсем.

Загрузилось быстро это радует! :)

А в трех небольших измерениях есть уровень ВСЕ или нет?
Если нет то желательно сделать, чтоб данные не приходилось искать, так как в той ссылке что я приводил выше.

Если же данных нет вообще, то надо смотреть мапинг все ли там правильно сделано.
...
Рейтинг: 0 / 0
17.08.2005, 13:30
    #33220475
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Alex_D LightestХм, загрузилось быстро - но вот только данных нет совсем.

Загрузилось быстро это радует! :)

А в трех небольших измерениях есть уровень ВСЕ или нет?
Если нет то желательно сделать, чтоб данные не приходилось искать, так как в той ссылке что я приводил выше.

Если же данных нет вообще, то надо смотреть мапинг все ли там правильно сделано. ИЗмерение ВСЕ есть, мапинг смотрел первым делом.
...
Рейтинг: 0 / 0
17.08.2005, 13:37
    #33220504
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestИЗмерение ВСЕ есть, мапинг смотрел первым делом.

А Вы куб грузили с измерениями или только одну меру?
Если одну меру, то можно попробовать грузить меру с измерениями.

Также посмотрите лог загрузки, не было ли ошибок при загрузке.
Лог смотртся следущим запросом: select * from olapsys.xml_load_log.
...
Рейтинг: 0 / 0
17.08.2005, 14:00
    #33220588
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Только меру. Загрузка прошла нормально. Сейчас создал time как user demension. Пока грузится :).
...
Рейтинг: 0 / 0
17.08.2005, 14:15
    #33220642
ora_guest
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestПодскажите, пожалуйста, как правильно создавать измерение типа TIME, для которого определены атрибуты длительность периода и окончание. В данный момент создал такое измерение с иерархией год - квартал - месяц - день, схема star, level-base.
У меня почти такое же измерение Время (1990-2020) (только вместо квартала - полугодие) грузится за ~ 1 минуту
Откуда Вы берете исходные данные для измерения?
...
Рейтинг: 0 / 0
17.08.2005, 14:17
    #33220652
ora_guest
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
ora_guest LightestПодскажите, пожалуйста, как правильно создавать измерение типа TIME, для которого определены атрибуты длительность периода и окончание. В данный момент создал такое измерение с иерархией год - квартал - месяц - день, схема star, level-base.
У меня почти такое же измерение Время (1990-2020) (только вместо квартала - полугодие) грузится за ~ 1 минуту
Откуда Вы берете исходные данные для измерения?
Забыл добавить - памяти у меня 1Gb
...
Рейтинг: 0 / 0
17.08.2005, 14:23
    #33220678
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
ora_guest LightestПодскажите, пожалуйста, как правильно создавать измерение типа TIME, для которого определены атрибуты длительность периода и окончание. В данный момент создал такое измерение с иерархией год - квартал - месяц - день, схема star, level-base.
У меня почти такое же измерение Время (1990-2020) (только вместо квартала - полугодие) грузится за ~ 1 минуту
Откуда Вы берете исходные данные для измерения?
Данные генерируются скриптом. У Вас измерение типа time или user? У меня, когда перевел в user, тоже грузиться стало за 1-2 минуты.
...
Рейтинг: 0 / 0
17.08.2005, 14:26
    #33220692
ora_guest
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Lightest ora_guest LightestПодскажите, пожалуйста, как правильно создавать измерение типа TIME, для которого определены атрибуты длительность периода и окончание. В данный момент создал такое измерение с иерархией год - квартал - месяц - день, схема star, level-base.
У меня почти такое же измерение Время (1990-2020) (только вместо квартала - полугодие) грузится за ~ 1 минуту
Откуда Вы берете исходные данные для измерения?
Данные генерируются скриптом. У Вас измерение типа time или user? У меня, когда перевел в user, тоже грузиться стало за 1-2 минуты.
У меня измерение типа time
...
Рейтинг: 0 / 0
17.08.2005, 14:27
    #33220697
DimaR
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Вот может кому пригодиться, я время так создавал, адаптируйте для себя
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
create table TTIMES
(
  YEAR                      VARCHAR2( 4 ) not null,
  YEAR_LONG_DESCRIPTION     VARCHAR2( 20 ) not null,
  YEAR_SHORT_DESCRIPTION    VARCHAR2( 20 ) not null,
  YEAR_END_DATE             DATE not null,
  YEAR_TIME_SPAN            NUMBER not null,
  QUARTER                   VARCHAR2( 6 ) not null,
  QUARTER_LONG_DESCRIPTION  VARCHAR2( 20 ) not null,
  QUARTER_SHORT_DESCRIPTION VARCHAR2( 20 ) not null,
  QUARTER_END_DATE          DATE not null,
  QUARTER_TIME_SPAN         NUMBER not null,
  MONTH                     VARCHAR2( 6 ) not null,
  MONTH_LONG_DESCRIPTION    VARCHAR2( 20 ) not null,
  MONTH_SHORT_DESCRIPTION   VARCHAR2( 20 ) not null,
  MONTH_END_DATE            DATE not null,
  MONTH_TIME_SPAN           NUMBER not null,
  DAY                       DATE not null,
  DAY_LONG_DESCRIPTION      VARCHAR2( 20 ) not null,
  DAY_SHORT_DESCRIPTION     VARCHAR2( 20 ) not null,
  DAY_END_DATE              DATE not null,
  DAY_TIME_SPAN             NUMBER not null
)
;

insert into TTIMES
select
  TO_CHAR(CD,'YYYY'),
  TO_CHAR(CD,'YYYY'),
  TO_CHAR(CD,'YYYY'),
  TO_DATE(TO_CHAR(CD,'YYYY')||'1231','YYYYMMDD'),  
  TO_DATE(TO_CHAR(CD,'YYYY')||'1231','YYYYMMDD')-trunc(CD,'Y')+ 1 ,  
  TO_CHAR(CD,'YYYYQ'),
  TO_CHAR(CD,'YYYYQ'),
  TO_CHAR(CD,'YYYYQ'),
  ADD_MONTHS(LAST_DAY(CD), 3 ),
  ADD_MONTHS(LAST_DAY(CD), 3 )-trunc(CD,'Q')+ 1 ,
  TO_CHAR(CD,'YYYYMM'),
  TO_CHAR(CD,'YYYYMM'),
  TO_CHAR(CD,'YYYYMM'),
  LAST_DAY(CD),
  LAST_DAY(CD)-trunc(CD,'MM')+ 1 ,
  CD,
  TO_CHAR(CD,'DD.MM.YYYY'),
  TO_CHAR(CD,'DD.MM.YYYY'),
  CD,
   1   
from 
 (select TO_DATE(&SD,'DD.MM.YYYY')+rownum- 1  CD from all_objects where rownum< 5000 ) d
where d.cd<= TO_DATE(&ED,'DD.MM.YYYY');

&SD &ED соответственно даты С и По
...
Рейтинг: 0 / 0
17.08.2005, 15:07
    #33220847
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestТолько меру. Загрузка прошла нормально. Сейчас создал time как user demension. Пока грузится :).

Получилось загрузить куб с данными?
...
Рейтинг: 0 / 0
17.08.2005, 15:10
    #33220855
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
В процессе :). Знать бы еще что он там делает. MSAS хотя бы репорт писал.
...
Рейтинг: 0 / 0
17.08.2005, 15:22
    #33220887
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestВ процессе :). Знать бы еще что он там делает. MSAS хотя бы репорт писал.

Переодически перезапрашивайте:
Код: plaintext
1.
2.
3.
select * 
  from olapsys.xml_load_log o
where o.xml_loadid = (select max(o2.xml_loadid) from olapsys.xml_load_log o2)  
order by o.xml_recordid
в процессе работы. И будете видеть, то что он сделал на текущий момент.

Хотя olapsys.xml_load_log - конечно малоинформативный лог :((
...
Рейтинг: 0 / 0
17.08.2005, 15:28
    #33220901
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Started Auto Solve for Measures: TEST_M from Cube TEST.CUBE.
Вот это он уже полторачаса делает. Когда другой куб считался 18 часов, 99% времени тоже было потрачено на это.
...
Рейтинг: 0 / 0
17.08.2005, 16:07
    #33221067
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestStarted Auto Solve for Measures: TEST_M from Cube TEST.CUBE.
Вот это он уже полторачаса делает. Когда другой куб считался 18 часов, 99% времени тоже было потрачено на это.

А у Вас для меры TEST_M на закладке Implementation Details какой Data Type ?
INTEGER - ?. Если есть компресия куба тогда интересует Data Type - для куба на той же закладке.

Опытным путем (на схеме global куб sales_cube) выяснил, что при загрузки меры с типом INTEGER (мера units). Шаг Auto Solve for Measures - присутствует.

А если тип меры DECIMAL (мера sales)- то данного шага нет.

При загрузке всего куба (sales_cube). Шаг Auto Solve for Measures - присутствует для обоих мер.

to ALL
Кто нибудь может пояснить, что делается на шаге Auto Solve for Measures?
И как это связано с Data Type меры?
...
Рейтинг: 0 / 0
17.08.2005, 16:34
    #33221195
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Т.к. как куб все еще в процессе, то сказать не могу (не знаю как подключить awm в режиме read-only). Скорее всего integer. Но куб без компресси.
...
Рейтинг: 0 / 0
17.08.2005, 16:43
    #33221243
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestТ.к. как куб все еще в процессе, то сказать не могу (не знаю как подключить awm в режиме read-only). Скорее всего integer. Но куб без компресси.

Просто если куб с компресией то мера наследует Data Type из свойств куба.

p.s. В плане возможных споcобов оптимизации надо подождать немного :)).

Наткнулся на такое сообщение от Markа Rittmanа . Само сообщение: Oracle OLAP Tuning Best Practices Paper
...
Рейтинг: 0 / 0
17.08.2005, 17:53
    #33221577
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Надеюсь это будет полезнее официальной доки.
...
Рейтинг: 0 / 0
18.10.2005, 19:01
    #33331567
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
LightestНадеюсь это будет полезнее официальной доки.

Теперь есть возможность оценить полезней или нет ...
Oracle Database 10g OLAP Performance Tips & Techniques - Part 1
...
Рейтинг: 0 / 0
19.10.2005, 09:10
    #33332108
Lightest
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Хм... вот вам и пара недель, я уже не надеялся увидеть. Будем посмотреть.
...
Рейтинг: 0 / 0
24.10.2005, 13:03
    #33340138
Alex_D
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AWM, измерение TIME.
Alex_DТеперь есть возможность оценить полезней или нет ...
Oracle Database 10g OLAP Performance Tips & Techniques - Part 1

Вот в приватной беседе подсказали , что уже есть и вторая часть Oracle Database 10g OLAP Performance Tips & Techniques - Part 2
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / AWM, измерение TIME. / 25 сообщений из 25, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]