powered by simpleCommunicator - 2.0.29     © 2024 Programmizd 02
Map
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Перенос из OLTP баз в хранилище
3 сообщений из 3, страница 1 из 1
Перенос из OLTP баз в хранилище
    #40136651
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Доброго дня! Только без холивара, да вопрос дилетантский

Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы.


Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные.

1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки?

2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная

Заранее спасибо
...
Рейтинг: 0 / 0
Перенос из OLTP баз в хранилище
    #40136653
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kliff,

Упрощенно: В крупных таблицах на стороне источника должно поддерживаться "определение изменений".
Если такого нет, то или полная выгрузка, или дорогое спецПО, которое может читать логи СУБД
...
Рейтинг: 0 / 0
Перенос из OLTP баз в хранилище
    #40136735
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kliff
Доброго дня! Только без холивара, да вопрос дилетантский

Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы.


Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные.

1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки?

2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная

Заранее спасибо

по п. 2 - не надо все таблицы делать историчными - это избыточно, ну а там где надо, если апдеты долгие - вариант как в data vault - одно поле вместо двух изпользуй date_from - и никаких апдейтов не надо, только инсерты.
...
Рейтинг: 0 / 0
3 сообщений из 3, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Перенос из OLTP баз в хранилище
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]