|
|
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
Есть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища. Где про это можно почитать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 13:43 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
Забить на чтение и убедить,что надо использовать xml и уже для него воспользоваться xslt-преобразованиями или как там они называются.Главное,что они замечательно рисуются в altova и помещаются в бд,где потом применяются к xml стандартными способами. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 14:19 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища. Где про это можно почитать? На самом деле запросы будут простые по смыслу. Типа Код: plaintext Была статья на IBM Redbooks по проектированию хранилищ данных. Там подробно описывалось как "свернуть" данные из OLTP в OLAP. Объем около 600 страниц. Вот эта ссылка: IBM Redbooks Data Modeling Techniques for Data Warehousing Почитай и попробуй повторить "приведение" из OLTP к OLAP. Тогда и селекты проще будет написать :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 14:35 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
ShtockЗабить на чтение и убедить,что надо использовать xml и уже для него воспользоваться xslt-преобразованиями или как там они называются. Нда уж. Даже сходу и не придумаю, как можно было еще эффективнее затормозить эту задачу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 15:15 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища. Хм. Описывать правила в виде SQL-запросов - занятие довольно дурное. Правила куда удобнее формулировать на русском языке, оно и короче, и понятнее, и удобнее. В виде запросов можно разрабатывать собственно трансформацию. В принципе эту задачу решают софтины с общим названием ETL Tools, из таких я возился с Oracle Warehouse Builder. Как правило (не скажу за все) эти инструменты позволяют описать трансформацию в некотором высокоуровневом представлении, после чего в том числе генерируют необходимые запросы (тут разные подходы; OWB, скажем, может сгенерить целиком SQL-трансформацию; Informatica, если не ошибаюсь, даже для тривиальной трансформации вида "update table set field = field + 1" воспользуется методом "прочитали - обновили - залили обратно на сервер"). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 15:22 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
есть предметная облать!! надо создать схему информационного хранилища и оформить в ER-диаграммы (ето понятно) а далее составить правила трансформации (а в этом непонятки) вот ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 15:24 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
to softwarer: Взять тот же Intersoft овский модуль хранилища - там все так сделано.Называется умным словом "Шаблон загрузки" и сами данные "Альбом загрузки". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 16:26 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
ShtockВзять тот же Intersoft овский модуль хранилища - там все так сделано. Если верить гуглю, это так называемый "Контур". Мы его смотрели пару лет назад, и если я его ни с кем не путаю, он начал конкретно тормозить уже на первом подсунутом ему примере. При этом уровень технологии - простейшие запросы через BDE и обсчет массивов данных на клиенте. В общем, не надо его брать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 16:43 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища. Где про это можно почитать? Бучше всего посмотреть как это работает в Контуре. Можно взять любую процедуру выгрузки из учетной системы, там именно так и сделанно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 17:34 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
softwarer ShtockВзять тот же Intersoft овский модуль хранилища - там все так сделано. Если верить гуглю, это так называемый "Контур". Мы его смотрели пару лет назад, и если я его ни с кем не путаю, он начал конкретно тормозить уже на первом подсунутом ему примере. При этом уровень технологии - простейшие запросы через BDE и обсчет массивов данных на клиенте. В общем, не надо его брать. Видимо Вы его с чем-то путаете ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 17:35 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
СоветВидимо Вы его с чем-то путаете Не найдется ли скриншотов нескольких основных экранов - к примеру определения куба, источников итп? На сайте к сожалению не нашел, а по ним наверное смогу сказать точнее, то или не то. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 17:47 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
softwarer СоветВидимо Вы его с чем-то путаете Не найдется ли скриншотов нескольких основных экранов - к примеру определения куба, источников итп? На сайте к сожалению не нашел, а по ним наверное смогу сказать точнее, то или не то. При чем тут Olap -отчетность? Мы говорим про трансформацию данныx. В Контуре механизм трансформации реализован на стадии выгрузки из учетной системы: т.е. данные всех учетных систем приводятся к единому формату, описанному в "Альбоме форматов" и выгружаются в *.xml файл, который потом загружается в хранилище. Поэтому буковки "ET" из магической связки "ETL" происходят именно на стадии выгрузки из учетной системы. Olap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 17:54 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
СоветПри чем тут Olap -отчетность? Мы говорим про трансформацию данныx. Ээ... я до сих пор полагал, что трансформация данных опирается в том числе на описание источников и получателей данных. СоветOlap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена. Ну значит вероятно таки действительно помню именно их. Хотя я все-таки уверен, что тогда возился именно с BDE, возможно с той поры успели поменять на ADO? OK. Так или иначе, если плюсами решения являются "простота использования и цена" - вряд ли это основание советовать применять используемые в этом решении технологии, не обеспечивающие работу с большими объемами данных. Если обратите внимание, я в своем первом ответе говорил именно об эффективности (скорости) xml-подхода. Да, я понимаю, что в принципе могу услышать "olap-клиент плох, а вот ETL работает просто замечательно". Но если честно, немного трудно в это поверить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 18:04 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
Скриншоты прикрепил. Кстати,недавно познакомился с MS AS. И там не нашел возможности создания параметра отчета(даты, например). Возможно она там и есть, но докопаться до нее весьма проблематично. А в Контуре разборщик так легко выносил из view-ки любое поле в параметр:(( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 18:05 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
Спасибо. Отчет выглядит очень знакомо, похоже таки оно. В MS AS, к сожалению, абсолютно некомпетентен, ничего сказать не могу. Меня интересовало то, что сможет работать с Oracle. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 18:10 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
softwarer СоветПри чем тут Olap -отчетность? Мы говорим про трансформацию данныx. Ээ... я до сих пор полагал, что трансформация данных опирается в том числе на описание источников и получателей данных. СоветOlap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена. Ну значит вероятно таки действительно помню именно их. Хотя я все-таки уверен, что тогда возился именно с BDE, возможно с той поры успели поменять на ADO? OK. Так или иначе, если плюсами решения являются "простота использования и цена" - вряд ли это основание советовать применять используемые в этом решении технологии, не обеспечивающие работу с большими объемами данных. Если обратите внимание, я в своем первом ответе говорил именно об эффективности (скорости) xml-подхода. Да, я понимаю, что в принципе могу услышать "olap-клиент плох, а вот ETL работает просто замечательно". Но если честно, немного трудно в это поверить. Не совсем понятна терминология "источник и получатель данных"(не припоминаю такого в Спирли): интуитивно источник - учетная система(oltp) Получатель - хранилище(DW Контур). Кубы же строятся из данных хранилища, ну или любой БД выступающей в его качестве. Также честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности. Olap то будет данные из БД тащить, а там они уже в соответствующим образом спроектированных табличках. Поэтому, я пожалуй останусь с тезисом: "ETL -хорош, Olap - плох и малопроизводителен при работе с большими данными" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 18:15 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
softwarerСпасибо. Отчет выглядит очень знакомо, похоже таки оно. В MS AS, к сожалению, абсолютно некомпетентен, ничего сказать не могу. Меня интересовало то, что сможет работать с Oracle. А в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)? В качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle? Информация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.10.2006, 18:19 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
СоветТакже честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности. Если OLAP не позволяет работать с большими объемами данных, от ETL также не требуется особой производительности - сформированные им данные будет нечем показать. Соответственно, исходный тезис "XML/XSLT позволяют показать хорошую скорость обработки данных" остается сомнительным. СоветА в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)? Хм. Честно говоря, затрудняюсь ответить, не пробовал :) Собственно я мало работал с Discoverer, я в основном рисовал кубы и ETL. Думаю, лучше озвучить Вашу задачу в форуме OLAP&DWH. СоветВ качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle? Скорее второе. Никто не мешает кинуть с оракла линки на другие БД и качать данные, но очевидно, скорость будет малоинтересной. СоветИнформация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра. Признаться, не очень понимаю задачу. Такое впечатление, что ее правильнее сформулировать как "взять отчет и начать накладывать на него произвольные фильтры". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.10.2006, 11:46 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
softwarer СоветТакже честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности. Если OLAP не позволяет работать с большими объемами данных, от ETL также не требуется особой производительности - сформированные им данные будет нечем показать. Соответственно, исходный тезис "XML/XSLT позволяют показать хорошую скорость обработки данных" остается сомнительным. СоветА в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)? Хм. Честно говоря, затрудняюсь ответить, не пробовал :) Собственно я мало работал с Discoverer, я в основном рисовал кубы и ETL. Думаю, лучше озвучить Вашу задачу в форуме OLAP&DWH. СоветВ качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle? Скорее второе. Никто не мешает кинуть с оракла линки на другие БД и качать данные, но очевидно, скорость будет малоинтересной. СоветИнформация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра. Признаться, не очень понимаю задачу. Такое впечатление, что ее правильнее сформулировать как "взять отчет и начать накладывать на него произвольные фильтры". Для извлечения данных в Контуре в основном используется xls - отчеты,получаемые из хранилища, так как форма отчетности в банке зачастую регламентирована и Olap для этой цели не подходит. В принципе также никто не мешает вытаскивать данные другим Olapом(MS AS, например). Про отчет: сейчас так и делаю, вывожу в отчет большой диапозон дат и потом средствами MS AS фильтрую его. При этом на расчет куба тратится очень большое количество времени(хотя только один раз, в отличие от Контура). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.10.2006, 12:06 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
Na_saПро отчет: сейчас так и делаю, вывожу в отчет большой диапозон дат и потом средствами MS AS фильтрую его. При этом на расчет куба тратится очень большое количество времени(хотя только один раз, в отличие от Контура). Я для решения этой задачи действовал просто - окно фильтра выпадало до вывода отчета. То есть "прочитали отчет" -> "изменили фильтр" -> "рассчитали и показали отчет". Не знаю, возможна ли такая функциональность в Discoverer, я это делал в BI Beans (это библиотека - API, на котором построен Discoverer). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.10.2006, 12:38 |
|
||
|
Правила трансформации данных
|
|||
|---|---|---|---|
|
#18+
softwarerInformatica, если не ошибаюсь, даже для тривиальной трансформации вида "update table set field = field + 1" воспользуется методом "прочитали - обновили - залили обратно на сервер"). Наверное, все-таки, ошибаетесь. Не знаю как в предыдущих версиях, а в PowerCenter8 есть опция Pushdown Optimization, с помощью которой как раз и управляется метод выполнения трансформаций - делать ли все информатике самой или отдавать на исполнение СУБД. Т.е. в самом простом случае, когда источник и цель - одна и та же база, трансформацию можно свести к одному запросу "insert into ... select ..." ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.10.2006, 11:32 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=34056572&tid=1544970]: |
0ms |
get settings: |
10ms |
get forum list: |
17ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
157ms |
get topic data: |
15ms |
get forum data: |
3ms |
get page messages: |
77ms |
get tp. blocked users: |
1ms |
| others: | 246ms |
| total: | 532ms |

| 0 / 0 |
