Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
28.02.2022, 08:42
|
|||
---|---|---|---|
Перенос из OLTP баз в хранилище |
|||
#18+
Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
|
28.02.2022, 09:20
|
|||
---|---|---|---|
Перенос из OLTP баз в хранилище |
|||
#18+
kliff, Упрощенно: В крупных таблицах на стороне источника должно поддерживаться "определение изменений". Если такого нет, то или полная выгрузка, или дорогое спецПО, которое может читать логи СУБД ... |
|||
:
Нравится:
Не нравится:
|
|||
|
28.02.2022, 16:57
|
|||
---|---|---|---|
|
|||
Перенос из OLTP баз в хранилище |
|||
#18+
kliff Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо по п. 2 - не надо все таблицы делать историчными - это избыточно, ну а там где надо, если апдеты долгие - вариант как в data vault - одно поле вместо двух изпользуй date_from - и никаких апдейтов не надо, только инсерты. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
Start [/forum/topic.php?fid=49&tablet=1&tid=1857026]: |
0ms |
get settings: |
27ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
57ms |
get topic data: |
27ms |
get forum data: |
3ms |
get page messages: |
129ms |
get tp. blocked users: |
3ms |
others: | 284ms |
total: | 554ms |
0 / 0 |