Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Правила трансформации данных / 21 сообщений из 21, страница 1 из 1
13.10.2006, 13:43
    #34053612
Cubak
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
Есть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Где про это можно почитать?
...
Рейтинг: 0 / 0
13.10.2006, 14:19
    #34053773
Shtock
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
Забить на чтение и убедить,что надо использовать xml и уже для него воспользоваться xslt-преобразованиями или как там они называются.Главное,что они замечательно рисуются в altova и помещаются в бд,где потом применяются к xml стандартными способами.
...
Рейтинг: 0 / 0
13.10.2006, 14:35
    #34053838
Правила трансформации данных
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Где про это можно почитать?
На самом деле запросы будут простые по смыслу. Типа
Код: plaintext
Select sum(...), ... from .... where .... 
Намного сложнее отобрать действительно нужные исходные данные.
Была статья на IBM Redbooks по проектированию хранилищ данных. Там подробно описывалось как "свернуть" данные из OLTP в OLAP. Объем около 600 страниц.
Вот эта ссылка:

IBM Redbooks Data Modeling Techniques for Data Warehousing

Почитай и попробуй повторить "приведение" из OLTP к OLAP. Тогда и селекты проще будет написать :)
...
Рейтинг: 0 / 0
13.10.2006, 15:15
    #34053978
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
ShtockЗабить на чтение и убедить,что надо использовать xml и уже для него воспользоваться xslt-преобразованиями или как там они называются.
Нда уж. Даже сходу и не придумаю, как можно было еще эффективнее затормозить эту задачу.
...
Рейтинг: 0 / 0
13.10.2006, 15:22
    #34054011
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Хм. Описывать правила в виде SQL-запросов - занятие довольно дурное. Правила куда удобнее формулировать на русском языке, оно и короче, и понятнее, и удобнее.

В виде запросов можно разрабатывать собственно трансформацию. В принципе эту задачу решают софтины с общим названием ETL Tools, из таких я возился с Oracle Warehouse Builder. Как правило (не скажу за все) эти инструменты позволяют описать трансформацию в некотором высокоуровневом представлении, после чего в том числе генерируют необходимые запросы (тут разные подходы; OWB, скажем, может сгенерить целиком SQL-трансформацию; Informatica, если не ошибаюсь, даже для тривиальной трансформации вида "update table set field = field + 1" воспользуется методом "прочитали - обновили - залили обратно на сервер").
...
Рейтинг: 0 / 0
13.10.2006, 15:24
    #34054020
Cubak
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
есть предметная облать!! надо создать схему информационного хранилища и оформить в ER-диаграммы (ето понятно) а далее составить правила трансформации (а в этом непонятки)
вот
...
Рейтинг: 0 / 0
13.10.2006, 16:26
    #34054234
Shtock
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
to softwarer:
Взять тот же Intersoft овский модуль хранилища - там все так сделано.Называется умным словом "Шаблон загрузки" и сами данные "Альбом загрузки".
...
Рейтинг: 0 / 0
13.10.2006, 16:43
    #34054308
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
ShtockВзять тот же Intersoft овский модуль хранилища - там все так сделано.
Если верить гуглю, это так называемый "Контур". Мы его смотрели пару лет назад, и если я его ни с кем не путаю, он начал конкретно тормозить уже на первом подсунутом ему примере. При этом уровень технологии - простейшие запросы через BDE и обсчет массивов данных на клиенте.

В общем, не надо его брать.
...
Рейтинг: 0 / 0
13.10.2006, 17:34
    #34054459
Совет
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Где про это можно почитать?
Бучше всего посмотреть как это работает в Контуре. Можно взять любую процедуру выгрузки из учетной системы, там именно так и сделанно.
...
Рейтинг: 0 / 0
13.10.2006, 17:35
    #34054464
Совет
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
softwarer ShtockВзять тот же Intersoft овский модуль хранилища - там все так сделано.
Если верить гуглю, это так называемый "Контур". Мы его смотрели пару лет назад, и если я его ни с кем не путаю, он начал конкретно тормозить уже на первом подсунутом ему примере. При этом уровень технологии - простейшие запросы через BDE и обсчет массивов данных на клиенте.

В общем, не надо его брать.
Видимо Вы его с чем-то путаете
...
Рейтинг: 0 / 0
13.10.2006, 17:47
    #34054496
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
СоветВидимо Вы его с чем-то путаете
Не найдется ли скриншотов нескольких основных экранов - к примеру определения куба, источников итп? На сайте к сожалению не нашел, а по ним наверное смогу сказать точнее, то или не то.
...
Рейтинг: 0 / 0
13.10.2006, 17:54
    #34054513
Совет
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
softwarer СоветВидимо Вы его с чем-то путаете
Не найдется ли скриншотов нескольких основных экранов - к примеру определения куба, источников итп? На сайте к сожалению не нашел, а по ним наверное смогу сказать точнее, то или не то.
При чем тут Olap -отчетность? Мы говорим про трансформацию данныx. В Контуре механизм трансформации реализован на стадии выгрузки из учетной системы: т.е. данные всех учетных систем приводятся к единому формату, описанному в "Альбоме форматов" и выгружаются в *.xml файл, который потом загружается в хранилище. Поэтому буковки "ET" из магической связки "ETL" происходят именно на стадии выгрузки из учетной системы.

Olap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена.
...
Рейтинг: 0 / 0
13.10.2006, 18:04
    #34054534
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
СоветПри чем тут Olap -отчетность? Мы говорим про трансформацию данныx.
Ээ... я до сих пор полагал, что трансформация данных опирается в том числе на описание источников и получателей данных.

СоветOlap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена.
Ну значит вероятно таки действительно помню именно их. Хотя я все-таки уверен, что тогда возился именно с BDE, возможно с той поры успели поменять на ADO?

OK. Так или иначе, если плюсами решения являются "простота использования и цена" - вряд ли это основание советовать применять используемые в этом решении технологии, не обеспечивающие работу с большими объемами данных. Если обратите внимание, я в своем первом ответе говорил именно об эффективности (скорости) xml-подхода.

Да, я понимаю, что в принципе могу услышать "olap-клиент плох, а вот ETL работает просто замечательно". Но если честно, немного трудно в это поверить.
...
Рейтинг: 0 / 0
13.10.2006, 18:05
    #34054538
Совет
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
Скриншоты прикрепил.
Кстати,недавно познакомился с MS AS. И там не нашел возможности создания параметра отчета(даты, например). Возможно она там и есть, но докопаться до нее весьма проблематично. А в Контуре разборщик так легко выносил из view-ки любое поле в параметр:((
...
Рейтинг: 0 / 0
13.10.2006, 18:10
    #34054548
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
Спасибо. Отчет выглядит очень знакомо, похоже таки оно.

В MS AS, к сожалению, абсолютно некомпетентен, ничего сказать не могу. Меня интересовало то, что сможет работать с Oracle.
...
Рейтинг: 0 / 0
13.10.2006, 18:15
    #34054561
Совет
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
softwarer СоветПри чем тут Olap -отчетность? Мы говорим про трансформацию данныx.
Ээ... я до сих пор полагал, что трансформация данных опирается в том числе на описание источников и получателей данных.

СоветOlap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена.
Ну значит вероятно таки действительно помню именно их. Хотя я все-таки уверен, что тогда возился именно с BDE, возможно с той поры успели поменять на ADO?

OK. Так или иначе, если плюсами решения являются "простота использования и цена" - вряд ли это основание советовать применять используемые в этом решении технологии, не обеспечивающие работу с большими объемами данных. Если обратите внимание, я в своем первом ответе говорил именно об эффективности (скорости) xml-подхода.

Да, я понимаю, что в принципе могу услышать "olap-клиент плох, а вот ETL работает просто замечательно". Но если честно, немного трудно в это поверить.
Не совсем понятна терминология "источник и получатель данных"(не припоминаю такого в Спирли): интуитивно
источник - учетная система(oltp)
Получатель - хранилище(DW Контур). Кубы же строятся из данных хранилища, ну или любой БД выступающей в его качестве.
Также честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности. Olap то будет данные из БД тащить, а там они уже в соответствующим образом спроектированных табличках.
Поэтому, я пожалуй останусь с тезисом:
"ETL -хорош, Olap - плох и малопроизводителен при работе с большими данными"
...
Рейтинг: 0 / 0
13.10.2006, 18:19
    #34054576
Совет
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
softwarerСпасибо. Отчет выглядит очень знакомо, похоже таки оно.

В MS AS, к сожалению, абсолютно некомпетентен, ничего сказать не могу. Меня интересовало то, что сможет работать с Oracle.
А в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)? В качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle?
Информация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра.
...
Рейтинг: 0 / 0
16.10.2006, 11:46
    #34056572
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
СоветТакже честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности.
Если OLAP не позволяет работать с большими объемами данных, от ETL также не требуется особой производительности - сформированные им данные будет нечем показать. Соответственно, исходный тезис "XML/XSLT позволяют показать хорошую скорость обработки данных" остается сомнительным.

СоветА в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)?
Хм. Честно говоря, затрудняюсь ответить, не пробовал :) Собственно я мало работал с Discoverer, я в основном рисовал кубы и ETL. Думаю, лучше озвучить Вашу задачу в форуме OLAP&DWH.

СоветВ качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle?
Скорее второе. Никто не мешает кинуть с оракла линки на другие БД и качать данные, но очевидно, скорость будет малоинтересной.

СоветИнформация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра.
Признаться, не очень понимаю задачу. Такое впечатление, что ее правильнее сформулировать как "взять отчет и начать накладывать на него произвольные фильтры".
...
Рейтинг: 0 / 0
16.10.2006, 12:06
    #34056644
Na_sa
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
softwarer СоветТакже честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности.
Если OLAP не позволяет работать с большими объемами данных, от ETL также не требуется особой производительности - сформированные им данные будет нечем показать. Соответственно, исходный тезис "XML/XSLT позволяют показать хорошую скорость обработки данных" остается сомнительным.

СоветА в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)?
Хм. Честно говоря, затрудняюсь ответить, не пробовал :) Собственно я мало работал с Discoverer, я в основном рисовал кубы и ETL. Думаю, лучше озвучить Вашу задачу в форуме OLAP&DWH.

СоветВ качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle?
Скорее второе. Никто не мешает кинуть с оракла линки на другие БД и качать данные, но очевидно, скорость будет малоинтересной.

СоветИнформация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра.
Признаться, не очень понимаю задачу. Такое впечатление, что ее правильнее сформулировать как "взять отчет и начать накладывать на него произвольные фильтры".

Для извлечения данных в Контуре в основном используется xls - отчеты,получаемые из хранилища, так как форма отчетности в банке зачастую регламентирована и Olap для этой цели не подходит. В принципе также никто не мешает вытаскивать данные другим Olapом(MS AS, например).
Про отчет: сейчас так и делаю, вывожу в отчет большой диапозон дат и потом средствами MS AS фильтрую его. При этом на расчет куба тратится очень большое количество времени(хотя только один раз, в отличие от Контура).
...
Рейтинг: 0 / 0
16.10.2006, 12:38
    #34056779
softwarer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
Na_saПро отчет: сейчас так и делаю, вывожу в отчет большой диапозон дат и потом средствами MS AS фильтрую его. При этом на расчет куба тратится очень большое количество времени(хотя только один раз, в отличие от Контура).
Я для решения этой задачи действовал просто - окно фильтра выпадало до вывода отчета. То есть "прочитали отчет" -> "изменили фильтр" -> "рассчитали и показали отчет". Не знаю, возможна ли такая функциональность в Discoverer, я это делал в BI Beans (это библиотека - API, на котором построен Discoverer).
...
Рейтинг: 0 / 0
20.10.2006, 11:32
    #34069004
йоги-джан
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Правила трансформации данных
softwarerInformatica, если не ошибаюсь, даже для тривиальной трансформации вида "update table set field = field + 1" воспользуется методом "прочитали - обновили - залили обратно на сервер").

Наверное, все-таки, ошибаетесь. Не знаю как в предыдущих версиях, а в PowerCenter8 есть опция Pushdown Optimization, с помощью которой как раз и управляется метод выполнения трансформаций - делать ли все информатике самой или отдавать на исполнение СУБД. Т.е. в самом простом случае, когда источник и цель - одна и та же база, трансформацию можно свести к одному запросу "insert into ... select ..."
...
Рейтинг: 0 / 0
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Правила трансформации данных / 21 сообщений из 21, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]