Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Oracle Warehouse Builder / 16 сообщений из 16, страница 1 из 1
26.01.2005, 11:08
    #32883985
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Знает ли кто-нибудь о реальных хранилищах построенных с использованием этого инструмента и его встроенных средств? устал бороться - шаг в право, шаг влево, надо писать table function, фактически реализующую весь алгоритм, да и по быстродействию получающегося кода не ахти как хорошо. Может я чего-тоне так делаю?
...
Рейтинг: 0 / 0
26.01.2005, 12:36
    #32884309
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Хм. Я бы так резко не сказал. А что именно Вы подразумеваете под "шаг влево"? Быстродействие с табличными функциями действительно будет под вопросом.

Можете дать конкретный пример задачи, которую не удается "нарисовать"?
...
Рейтинг: 0 / 0
26.01.2005, 13:15
    #32884493
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
http://www.oracle.com/technology/products/warehouse/htdocs/OTN_CustRef.html

Есть те, кто работает с OWB. Да и у нас в стране тоже таких много.
Конечно, бывают сложные случаи, но тут уж OWB не причем, наверное.
...
Рейтинг: 0 / 0
26.01.2005, 13:26
    #32884540
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
ну скажем заполнение ID уровней иерархии выше терминального,
да просто заполнение факторной таблицы, вроде ничего сложного, но функция написанная для этого руками быстрее на 2 ПОРЯДКА, на тех же таблицах и индексах, просто я делал через коллекции, а OWB через запросы.
Просто и быстро накидываются только измерения с 1-2 уровня.
...
Рейтинг: 0 / 0
26.01.2005, 13:33
    #32884574
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
2Birkhoff посмотрел по ссылке
взял первого GlaxoSmithKline

using the ETL
tool (Oracle Warehouse Builder), are
transferred from the operational system
to a staging environment of the
DWH (Oracle database).
и все
как всегда реклама

флэт файлы лоадятся в таблички просто замечательно, с кодировками надо сначала поковырять, а так все очень удобно.
...
Рейтинг: 0 / 0
26.01.2005, 14:56
    #32884880
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Sintetikну скажем заполнение ID уровней иерархии выше терминального,
да просто заполнение факторной таблицы, вроде ничего сложного, но функция написанная для этого руками быстрее на 2 ПОРЯДКА, на тех же таблицах и индексах, просто я делал через коллекции, а OWB через запросы.
Просто и быстро накидываются только измерения с 1-2 уровня.
Это проблема всех case средств - функция написанная руками чаще всего и будет быстрее, чем сгенеренная в каком то case средстве. Нигде и не написано что OWB гарантированно генерирует самый быстрый код из возможных :)
Как и у любого case-а у него задача не только в том чтобы сгенерить код, но и в том, чтобы потом развивать и документировать хранилище.
Посмотрите, что в том коде, что нагенерил OWB - там собственно перегрузка занимает даже не 10 процентов.
Если вы напишите свою сложную функцию, то другому в ней будет разбираться гораздо сложнее, чем в меппингах OWB. А если таких функций 100?

Кстати говоря я видел пример когда код, сгенеренный OWB работал гораздо быстрее, чем тоже самое, написанное руками за счет того что код OWB использовал распараллеливание по процессорам Oracle, а своя процедура нет.
Посмотрите если не смотрели, там можно настройку генерящегося кода делать. Может быть это поможет?
...
Рейтинг: 0 / 0
26.01.2005, 15:02
    #32884902
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Sintetik2Birkhoff посмотрел по ссылке
взял первого GlaxoSmithKline

using the ETL
tool (Oracle Warehouse Builder), are
transferred from the operational system
to a staging environment of the
DWH (Oracle database).
и все
как всегда реклама

флэт файлы лоадятся в таблички просто замечательно, с кодировками надо сначала поковырять, а так все очень удобно.
Из-за того, что там не раскрыто что делает OWB следует, что он там ничего не делает? :)

Ну вот тут больше написано http://www.oracle.com/customers/profiles/PROFILE7936.HTML

Кстати насчет GSK, я как-то общался dba GSK из Англии, он рассказал что у них там совсем не маленькое хранилище (по моему на 32 процессорном серваке крутится) И использовался тоже OWB.
Хотя я думаю, что это другой проект, не тот, который там описан.
...
Рейтинг: 0 / 0
26.01.2005, 16:41
    #32885238
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Birkhoff
Это проблема всех case средств - функция написанная руками чаще всего и будет быстрее, чем сгенеренная в каком то case средстве. Нигде и не написано что OWB гарантированно генерирует самый быстрый код из возможных :)


Согласен, но не в 200 же раз (реально получилось), примитивный маппинг куба на 3 измерения: distinct из source_table+фильтр на диапазон дат+3 KeyLookup по измерениям+aggregate, все, там даже негде напортачить особо, 1000 фактов обрабатывает минуту, т.е. миллион будет 16 часов обрабатывать, да меня заказчик растерзает за такое, и ему наплевать будет что такой маппинг за 5 минут набрасывается.

Вот я и хочу понять, это продукт для "начинающих" или профи его тоже пользуют.
...
Рейтинг: 0 / 0
26.01.2005, 16:45
    #32885250
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Sintetikну скажем заполнение ID уровней иерархии выше терминального,
Хм. Обычно не вставала такая задача - в исходных данных всегда есть ключ, который можно для этого использовать.

Пару раз я делал в два этапа - сначала заполнение промежуточной таблицы (вида "естественный ключ", "id"), а потом key lookup для вытаскивания id в уровень иерархии.

да просто заполнение факторной таблицы, вроде ничего сложного, но функция написанная для этого руками быстрее на 2 ПОРЯДКА, на тех же таблицах и индексах, просто я делал через коллекции, а OWB через запросы.
Хм. Тут присоединюсь к Birkhoff - тема большая, сложная, и наилучшая оптимизация получится таки руками - но большую часть можно нарисовать и получить при этом хороший результат. Как минимум - не хуже, чем при относительно быстром создании той же подпрограммы руками.
...
Рейтинг: 0 / 0
26.01.2005, 17:02
    #32885338
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
SintetikСогласен, но не в 200 же раз (реально получилось), примитивный маппинг куба на 3 измерения: distinct из source_table+фильтр на диапазон дат+3 KeyLookup по измерениям+aggregate, все, там даже негде напортачить особо, 1000 фактов обрабатывает минуту, т.е. миллион будет 16 часов обрабатывать, да меня заказчик растерзает за такое, и ему наплевать будет что такой маппинг за 5 минут набрасывается.
Надо разбираться. А конкретнее пример нельзя привести?
...
Рейтинг: 0 / 0
26.01.2005, 17:04
    #32885353
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
это для OFA, ключ то должен быть уникальным не в пределах левела, а в пределах измерения, вариант с промежуточной таблицей я пробовал, все равно тормозит, может это особенность моего источника данных, там все ID это varchar2(50), поэтому ассоциативные массивы с индексом по varchar2 дают такую разницу.
...
Рейтинг: 0 / 0
26.01.2005, 19:18
    #32885702
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
SintetikСогласен, но не в 200 же раз (реально получилось), примитивный маппинг куба на 3 измерения: distinct из source_table+фильтр на диапазон дат+3 KeyLookup по измерениям+aggregate, все, там даже негде напортачить особо, 1000 фактов обрабатывает минуту,
Хм. Для такого маппинга он должен выполнять единственный merge или insert/select. Если этот единственный оператор выполняется со скоростью 1000 записей в минуту - тут что-то неладно в консерватории, в смысле на сервере.

Мало того, если это удается ускорить процедурой - что-то очень неладно. Хотелось бы увидеть то, что генерит OWB (естественно, не весь мэппинг, а тот самый ключевой оператор), трассировку сессии выполнения мэппинга и процедуру, которая в 200 раз быстрее. Лучше, наверное, в виде файла, а не постингом в форум.
...
Рейтинг: 0 / 0
26.01.2005, 19:21
    #32885707
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Sintetikтам все ID это varchar2(50), поэтому ассоциативные массивы с индексом по varchar2 дают такую разницу.
Может быть, конечно - хотя странно; как минимум hash join вряд ли уступит в эффективности ассоциативным массивам. Ну так никто не мешает написать трансформацию, которая именно это и будет делать, использовать ее вместо key lookup, а все остальное рисовать.
...
Рейтинг: 0 / 0
26.01.2005, 22:07
    #32885834
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
ну да, там немного самому написать, потом здесь еще немного и оказывается, что проще все самому
а с трассировками потом покопаюсь, после сдачи проекта :-)
...
Рейтинг: 0 / 0
27.01.2005, 13:09
    #32886850
Birkhoff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
Sintetikну да, там немного самому написать, потом здесь еще немного и оказывается, что проще все самому
а с трассировками потом покопаюсь, после сдачи проекта :-)
Мне кажется, что case вам не нужен. По крайней мере, вы можете прожить и без него. :)
...
Рейтинг: 0 / 0
27.01.2005, 20:36
    #32888092
Sintetik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oracle Warehouse Builder
2softwarer Попробовал заменить Lookup своей функцией - все залетало, спасибо, а то я уж совсем было на пэйплайны съехал.

BirkhoffМне кажется, что case вам не нужен. По крайней мере, вы можете прожить и без него. :) Мы то можем :-) , но заказчик так захотел.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Oracle Warehouse Builder / 16 сообщений из 16, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]