powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Правила трансформации данных
21 сообщений из 21, страница 1 из 1
Правила трансформации данных
    #34053612
Cubak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Где про это можно почитать?
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34053773
Фотография Shtock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Забить на чтение и убедить,что надо использовать xml и уже для него воспользоваться xslt-преобразованиями или как там они называются.Главное,что они замечательно рисуются в altova и помещаются в бд,где потом применяются к xml стандартными способами.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34053838
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Где про это можно почитать?
На самом деле запросы будут простые по смыслу. Типа
Код: plaintext
Select sum(...), ... from .... where .... 
Намного сложнее отобрать действительно нужные исходные данные.
Была статья на IBM Redbooks по проектированию хранилищ данных. Там подробно описывалось как "свернуть" данные из OLTP в OLAP. Объем около 600 страниц.
Вот эта ссылка:

IBM Redbooks Data Modeling Techniques for Data Warehousing

Почитай и попробуй повторить "приведение" из OLTP к OLAP. Тогда и селекты проще будет написать :)
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34053978
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShtockЗабить на чтение и убедить,что надо использовать xml и уже для него воспользоваться xslt-преобразованиями или как там они называются.
Нда уж. Даже сходу и не придумаю, как можно было еще эффективнее затормозить эту задачу.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054011
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Хм. Описывать правила в виде SQL-запросов - занятие довольно дурное. Правила куда удобнее формулировать на русском языке, оно и короче, и понятнее, и удобнее.

В виде запросов можно разрабатывать собственно трансформацию. В принципе эту задачу решают софтины с общим названием ETL Tools, из таких я возился с Oracle Warehouse Builder. Как правило (не скажу за все) эти инструменты позволяют описать трансформацию в некотором высокоуровневом представлении, после чего в том числе генерируют необходимые запросы (тут разные подходы; OWB, скажем, может сгенерить целиком SQL-трансформацию; Informatica, если не ошибаюсь, даже для тривиальной трансформации вида "update table set field = field + 1" воспользуется методом "прочитали - обновили - залили обратно на сервер").
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054020
Cubak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
есть предметная облать!! надо создать схему информационного хранилища и оформить в ER-диаграммы (ето понятно) а далее составить правила трансформации (а в этом непонятки)
вот
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054234
Фотография Shtock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
to softwarer:
Взять тот же Intersoft овский модуль хранилища - там все так сделано.Называется умным словом "Шаблон загрузки" и сами данные "Альбом загрузки".
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054308
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ShtockВзять тот же Intersoft овский модуль хранилища - там все так сделано.
Если верить гуглю, это так называемый "Контур". Мы его смотрели пару лет назад, и если я его ни с кем не путаю, он начал конкретно тормозить уже на первом подсунутом ему примере. При этом уровень технологии - простейшие запросы через BDE и обсчет массивов данных на клиенте.

В общем, не надо его брать.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054459
Совет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
CubakЕсть задение, в котором необходимо разработать в виде SQL запросов правила трансформации данных транзакционной системы в схему Информационного хранилища.
Где про это можно почитать?
Бучше всего посмотреть как это работает в Контуре. Можно взять любую процедуру выгрузки из учетной системы, там именно так и сделанно.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054464
Совет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
softwarer ShtockВзять тот же Intersoft овский модуль хранилища - там все так сделано.
Если верить гуглю, это так называемый "Контур". Мы его смотрели пару лет назад, и если я его ни с кем не путаю, он начал конкретно тормозить уже на первом подсунутом ему примере. При этом уровень технологии - простейшие запросы через BDE и обсчет массивов данных на клиенте.

В общем, не надо его брать.
Видимо Вы его с чем-то путаете
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054496
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СоветВидимо Вы его с чем-то путаете
Не найдется ли скриншотов нескольких основных экранов - к примеру определения куба, источников итп? На сайте к сожалению не нашел, а по ним наверное смогу сказать точнее, то или не то.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054513
Совет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
softwarer СоветВидимо Вы его с чем-то путаете
Не найдется ли скриншотов нескольких основных экранов - к примеру определения куба, источников итп? На сайте к сожалению не нашел, а по ним наверное смогу сказать точнее, то или не то.
При чем тут Olap -отчетность? Мы говорим про трансформацию данныx. В Контуре механизм трансформации реализован на стадии выгрузки из учетной системы: т.е. данные всех учетных систем приводятся к единому формату, описанному в "Альбоме форматов" и выгружаются в *.xml файл, который потом загружается в хранилище. Поэтому буковки "ET" из магической связки "ETL" происходят именно на стадии выгрузки из учетной системы.

Olap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054534
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СоветПри чем тут Olap -отчетность? Мы говорим про трансформацию данныx.
Ээ... я до сих пор полагал, что трансформация данных опирается в том числе на описание источников и получателей данных.

СоветOlap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена.
Ну значит вероятно таки действительно помню именно их. Хотя я все-таки уверен, что тогда возился именно с BDE, возможно с той поры успели поменять на ADO?

OK. Так или иначе, если плюсами решения являются "простота использования и цена" - вряд ли это основание советовать применять используемые в этом решении технологии, не обеспечивающие работу с большими объемами данных. Если обратите внимание, я в своем первом ответе говорил именно об эффективности (скорости) xml-подхода.

Да, я понимаю, что в принципе могу услышать "olap-клиент плох, а вот ETL работает просто замечательно". Но если честно, немного трудно в это поверить.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054538
Совет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Скриншоты прикрепил.
Кстати,недавно познакомился с MS AS. И там не нашел возможности создания параметра отчета(даты, например). Возможно она там и есть, но докопаться до нее весьма проблематично. А в Контуре разборщик так легко выносил из view-ки любое поле в параметр:((
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054548
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо. Отчет выглядит очень знакомо, похоже таки оно.

В MS AS, к сожалению, абсолютно некомпетентен, ничего сказать не могу. Меня интересовало то, что сможет работать с Oracle.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054561
Совет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
softwarer СоветПри чем тут Olap -отчетность? Мы говорим про трансформацию данныx.
Ээ... я до сих пор полагал, что трансформация данных опирается в том числе на описание источников и получателей данных.

СоветOlap -клиенты Контура действительно не способны работать с большими объемами данных(даже через ADO), плюсом является простота их использования и цена.
Ну значит вероятно таки действительно помню именно их. Хотя я все-таки уверен, что тогда возился именно с BDE, возможно с той поры успели поменять на ADO?

OK. Так или иначе, если плюсами решения являются "простота использования и цена" - вряд ли это основание советовать применять используемые в этом решении технологии, не обеспечивающие работу с большими объемами данных. Если обратите внимание, я в своем первом ответе говорил именно об эффективности (скорости) xml-подхода.

Да, я понимаю, что в принципе могу услышать "olap-клиент плох, а вот ETL работает просто замечательно". Но если честно, немного трудно в это поверить.
Не совсем понятна терминология "источник и получатель данных"(не припоминаю такого в Спирли): интуитивно
источник - учетная система(oltp)
Получатель - хранилище(DW Контур). Кубы же строятся из данных хранилища, ну или любой БД выступающей в его качестве.
Также честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности. Olap то будет данные из БД тащить, а там они уже в соответствующим образом спроектированных табличках.
Поэтому, я пожалуй останусь с тезисом:
"ETL -хорош, Olap - плох и малопроизводителен при работе с большими данными"
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34054576
Совет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
softwarerСпасибо. Отчет выглядит очень знакомо, похоже таки оно.

В MS AS, к сожалению, абсолютно некомпетентен, ничего сказать не могу. Меня интересовало то, что сможет работать с Oracle.
А в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)? В качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle?
Информация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра.
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34056572
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
СоветТакже честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности.
Если OLAP не позволяет работать с большими объемами данных, от ETL также не требуется особой производительности - сформированные им данные будет нечем показать. Соответственно, исходный тезис "XML/XSLT позволяют показать хорошую скорость обработки данных" остается сомнительным.

СоветА в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)?
Хм. Честно говоря, затрудняюсь ответить, не пробовал :) Собственно я мало работал с Discoverer, я в основном рисовал кубы и ETL. Думаю, лучше озвучить Вашу задачу в форуме OLAP&DWH.

СоветВ качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle?
Скорее второе. Никто не мешает кинуть с оракла линки на другие БД и качать данные, но очевидно, скорость будет малоинтересной.

СоветИнформация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра.
Признаться, не очень понимаю задачу. Такое впечатление, что ее правильнее сформулировать как "взять отчет и начать накладывать на него произвольные фильтры".
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34056644
Na_sa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
softwarer СоветТакже честно говоря не совсем понятно какое отношение имеет *.xml формат загружаемых данных к Olap отчетности.
Если OLAP не позволяет работать с большими объемами данных, от ETL также не требуется особой производительности - сформированные им данные будет нечем показать. Соответственно, исходный тезис "XML/XSLT позволяют показать хорошую скорость обработки данных" остается сомнительным.

СоветА в Discoverer возможность создания параметра отчета есть(имеется ввиду в интерактивном режиме, перед выпуском отчета)?
Хм. Честно говоря, затрудняюсь ответить, не пробовал :) Собственно я мало работал с Discoverer, я в основном рисовал кубы и ETL. Думаю, лучше озвучить Вашу задачу в форуме OLAP&DWH.

СоветВ качестве БД из которой будет строиться Olap-отчет может выступать любая или строго Oracle?
Скорее второе. Никто не мешает кинуть с оракла линки на другие БД и качать данные, но очевидно, скорость будет малоинтересной.

СоветИнформация будет интересной для меня, так как сейчас нужно построить сложный отчет с интеррактивной возможностью выбора параметра.
Признаться, не очень понимаю задачу. Такое впечатление, что ее правильнее сформулировать как "взять отчет и начать накладывать на него произвольные фильтры".

Для извлечения данных в Контуре в основном используется xls - отчеты,получаемые из хранилища, так как форма отчетности в банке зачастую регламентирована и Olap для этой цели не подходит. В принципе также никто не мешает вытаскивать данные другим Olapом(MS AS, например).
Про отчет: сейчас так и делаю, вывожу в отчет большой диапозон дат и потом средствами MS AS фильтрую его. При этом на расчет куба тратится очень большое количество времени(хотя только один раз, в отличие от Контура).
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34056779
Фотография softwarer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Na_saПро отчет: сейчас так и делаю, вывожу в отчет большой диапозон дат и потом средствами MS AS фильтрую его. При этом на расчет куба тратится очень большое количество времени(хотя только один раз, в отличие от Контура).
Я для решения этой задачи действовал просто - окно фильтра выпадало до вывода отчета. То есть "прочитали отчет" -> "изменили фильтр" -> "рассчитали и показали отчет". Не знаю, возможна ли такая функциональность в Discoverer, я это делал в BI Beans (это библиотека - API, на котором построен Discoverer).
...
Рейтинг: 0 / 0
Правила трансформации данных
    #34069004
йоги-джан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
softwarerInformatica, если не ошибаюсь, даже для тривиальной трансформации вида "update table set field = field + 1" воспользуется методом "прочитали - обновили - залили обратно на сервер").

Наверное, все-таки, ошибаетесь. Не знаю как в предыдущих версиях, а в PowerCenter8 есть опция Pushdown Optimization, с помощью которой как раз и управляется метод выполнения трансформаций - делать ли все информатике самой или отдавать на исполнение СУБД. Т.е. в самом простом случае, когда источник и цель - одна и та же база, трансформацию можно свести к одному запросу "insert into ... select ..."
...
Рейтинг: 0 / 0
21 сообщений из 21, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / Правила трансформации данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]