Гость
Map
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Перенос из OLTP баз в хранилище / 3 сообщений из 3, страница 1 из 1
28.02.2022, 08:42
    #40136651
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из OLTP баз в хранилище
Доброго дня! Только без холивара, да вопрос дилетантский

Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы.


Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные.

1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки?

2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная

Заранее спасибо
...
Рейтинг: 0 / 0
28.02.2022, 09:20
    #40136653
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из OLTP баз в хранилище
kliff,

Упрощенно: В крупных таблицах на стороне источника должно поддерживаться "определение изменений".
Если такого нет, то или полная выгрузка, или дорогое спецПО, которое может читать логи СУБД
...
Рейтинг: 0 / 0
28.02.2022, 16:57
    #40136735
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос из OLTP баз в хранилище
kliff
Доброго дня! Только без холивара, да вопрос дилетантский

Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы.


Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные.

1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки?

2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная

Заранее спасибо

по п. 2 - не надо все таблицы делать историчными - это избыточно, ну а там где надо, если апдеты долгие - вариант как в data vault - одно поле вместо двух изпользуй date_from - и никаких апдейтов не надо, только инсерты.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Перенос из OLTP баз в хранилище / 3 сообщений из 3, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]