|
|
|
Перенос из OLTP баз в хранилище
|
|||
|---|---|---|---|
|
#18+
Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2022, 08:42:13 |
|
||
|
Перенос из OLTP баз в хранилище
|
|||
|---|---|---|---|
|
#18+
kliff, Упрощенно: В крупных таблицах на стороне источника должно поддерживаться "определение изменений". Если такого нет, то или полная выгрузка, или дорогое спецПО, которое может читать логи СУБД ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2022, 09:20:53 |
|
||
|
Перенос из OLTP баз в хранилище
|
|||
|---|---|---|---|
|
#18+
kliff Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо по п. 2 - не надо все таблицы делать историчными - это избыточно, ну а там где надо, если апдеты долгие - вариант как в data vault - одно поле вместо двух изпользуй date_from - и никаких апдейтов не надо, только инсерты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.02.2022, 16:57:06 |
|
||
|
|

start [/forum/topic.php?fid=49&tid=1857026]: |
0ms |
get settings: |
20ms |
get forum list: |
24ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
303ms |
get topic data: |
17ms |
get forum data: |
4ms |
get page messages: |
56ms |
get tp. blocked users: |
2ms |
| others: | 428ms |
| total: | 864ms |

| 0 / 0 |
