|
Перенос из OLTP баз в хранилище
|
|||
---|---|---|---|
#18+
Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2022, 08:42 |
|
Перенос из OLTP баз в хранилище
|
|||
---|---|---|---|
#18+
kliff, Упрощенно: В крупных таблицах на стороне источника должно поддерживаться "определение изменений". Если такого нет, то или полная выгрузка, или дорогое спецПО, которое может читать логи СУБД ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2022, 09:20 |
|
Перенос из OLTP баз в хранилище
|
|||
---|---|---|---|
#18+
kliff Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо по п. 2 - не надо все таблицы делать историчными - это избыточно, ну а там где надо, если апдеты долгие - вариант как в data vault - одно поле вместо двух изпользуй date_from - и никаких апдейтов не надо, только инсерты. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.02.2022, 16:57 |
|
|
start [/forum/topic.php?fid=49&gotonew=1&tid=1857026]: |
0ms |
get settings: |
28ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
62ms |
get topic data: |
11ms |
get first new msg: |
6ms |
get forum data: |
2ms |
get page messages: |
110ms |
get tp. blocked users: |
2ms |
others: | 15ms |
total: | 257ms |
0 / 0 |