|  | 
| 
Перенос из OLTP баз в хранилище | |||
|---|---|---|---|
| #18+ Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 28.02.2022, 08:42 |  | ||
| 
Перенос из OLTP баз в хранилище | |||
|---|---|---|---|
| #18+ kliff, Упрощенно: В крупных таблицах на стороне источника должно поддерживаться "определение изменений". Если такого нет, то или полная выгрузка, или дорогое спецПО, которое может читать логи СУБД ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 28.02.2022, 09:20 |  | ||
| 
Перенос из OLTP баз в хранилище | |||
|---|---|---|---|
| #18+ kliff Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо по п. 2 - не надо все таблицы делать историчными - это избыточно, ну а там где надо, если апдеты долгие - вариант как в data vault - одно поле вместо двух изпользуй date_from - и никаких апдейтов не надо, только инсерты. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
| 28.02.2022, 16:57 |  | ||
|  | 

| start [/forum/topic.php?fid=49&msg=40136735&tid=1857026]: | 0ms | 
| get settings: | 10ms | 
| get forum list: | 14ms | 
| check forum access: | 4ms | 
| check topic access: | 4ms | 
| track hit: | 49ms | 
| get topic data: | 13ms | 
| get forum data: | 2ms | 
| get page messages: | 49ms | 
| get tp. blocked users: | 2ms | 
| others: | 14ms | 
| total: | 161ms | 

| 0 / 0 | 
