|
|
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
Существует бд DB2. В ней с помощью различных процедур и запросов формируется результирующий набор данных, который преобразуется в xml и затем через web service отправляется в другую систему(sap). Там этот xml разбирается, проходит процедуры проверки, ошибочные данные отбрасывается, остальные записываются в целевую таблицу. По различным причинам этот ETL процесс проходит "трудно и медленно". Почему? 1 Так как данные нужны в целевой системе, а поставляет их исходная, включается человеческий фактор. Исполнители из целевой системы "просят" загрузить им данные исполнителей из исходной. 2 преобразование <данные -> xml, xml ->данные> в таблице стоит дорого. 3 xml данные по определению лишний трафик, лишние мегабайты. Взамен, предлагается создать в БД пользователя, который имеет права на чтение извне 1 таблицы, или view в БД, в которой и будет "ложиться" результирующий набор данных. Тогда данные будет забирать заинтересованная сторона на стороне целевой системы, когда ей это надо, а выбор данных будет представлять прямой select. Таким образом, перечисленные 3 проблемы будут решены. Вопросы к сообществу. Особенно интересует мнение спецов DB2. Насколько верны тезисы? Как изменится производительность? Какие могут возникнуть доп проблемы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2011, 21:18 |
|
||
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
babken, может есть смысл задать этот вопрос в форуме по DB2? А так - я бы отказаться от хмуля, зачем он нужен? Какие в вашем случае у него преимущества перед comma-separated файлом? На MSSQL я бы на одной стороне пачкой (bcp) выгружал данные в текстовый либо нативный файл, передавал его, а на другой так же (либо BULK INSERT) загружал данные в базу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.09.2011, 22:05 |
|
||
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
babkenСуществует бд DB2. ... Мы вот в мускуле постоянно используем выгрузку в сторонние системы в виде xml - ничего долгого не наблюдается - все легко и просто ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2011, 13:13 |
|
||
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
babkenВопросы к сообществу. Особенно интересует мнение спецов DB2. Насколько верны тезисы? Как изменится производительность? Какие могут возникнуть доп проблемы? Само по себе решение верное в том смысле, что xml тут нафиг не нужен (если оставаться в рамках описанной задачи). Аргументация сомнительная, особенно третий пункт (хотя, конечно, могут быть специфические условия или очень большие объёмы). В целом, забирать напрямую проще и удобнее, в то время как xml увеличивает независимость и универсальность. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2011, 14:29 |
|
||
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
spbabkenСуществует бд DB2. ... Мы вот в мускуле постоянно используем выгрузку в сторонние системы в виде xml - ничего долгого не наблюдается - все легко и простоВ мускуле одинаковая скорость??? Это хорошо... Вот в сиквеле xml минимум раз в 10 медленнее импортируется по сравнению с csv. Хотя бы гиг в секунду заливать, ну ладно, ну гиг в 10 сек... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2011, 16:19 |
|
||
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
babkenСуществует бд DB2. Для доступа к своим данным сторонних контор мы реализовали вэб-сервис - это элементарно, а языком общения веб-сервиса является xml - и никаких терзаний и проблем ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2011, 16:38 |
|
||
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
alexeyvgВ мускуле одинаковая скорость??? Это хорошо... Вот в сиквеле xml минимум раз в 10 медленнее импортируется по сравнению с csv. Хотя бы гиг в секунду заливать, ну ладно, ну гиг в 10 сек... ТС мучаецца вопросами не импорта а экспорта данных и доступа к ним сторонней конторы ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2011, 16:39 |
|
||
|
xml vs прямой select к таблице
|
|||
|---|---|---|---|
|
#18+
spalexeyvgВ мускуле одинаковая скорость??? Это хорошо... Вот в сиквеле xml минимум раз в 10 медленнее импортируется по сравнению с csv. Хотя бы гиг в секунду заливать, ну ладно, ну гиг в 10 сек... ТС мучаецца вопросами не импорта а экспорта данных и доступа к ним сторонней конторыПонятно, но ведь что-то экпортируемое нужно будет потом импортировать :-) И у ТС один из вопросов о скорости: babken2 преобразование <данные -> xml, xml ->данные> в таблице стоит дорого. 3 xml данные по определению лишний трафик, лишние мегабайты. ... Как изменится производительность? А вообще в данном случае непонятен вопрос о бизнес-логике импорта. Всё таки предлагается процесс импорта заменить на онлайн-доступ? Это не всегда можно сделать с т.з. бизнес-логики. Если не менять б.л., а просто заменить транспорт, то скорость может и уменьшиться (часто прямой доступ между СУБД довольно медленный). Это действительно нужно узнавать у спецов по DB2 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.09.2011, 16:58 |
|
||
|
|
start [/forum/topic.php?fid=32&msg=37426065&tid=1542040]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
148ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
31ms |
get tp. blocked users: |
1ms |
| others: | 204ms |
| total: | 416ms |
| 0 / 0 |
