
    Новые сообщения [новые:0]
  
  Дайджест 
  
  Горячие темы
    Избранное [новые:0]
  
Форумы 
 
Пользователи 
Статистика 
Статистика нагрузки 
    Мод. лог 
  
  Поиск 
| 
 | 
| 28.02.2022, 08:42 | |||
|---|---|---|---|
| Перенос из OLTP баз в хранилище | |||
| #18+ Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
|  | 
| 28.02.2022, 09:20 | |||
|---|---|---|---|
| Перенос из OLTP баз в хранилище | |||
| #18+ kliff, Упрощенно: В крупных таблицах на стороне источника должно поддерживаться "определение изменений". Если такого нет, то или полная выгрузка, или дорогое спецПО, которое может читать логи СУБД ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
|  | 
| 28.02.2022, 16:57 | |||
|---|---|---|---|
| 
 | |||
| Перенос из OLTP баз в хранилище | |||
| #18+ kliff Доброго дня! Только без холивара, да вопрос дилетантский Други, могли бы просветить или ткнуть в ресурс, где почитать, как организованы подобные схемы. Есть две OLTP Oracle базы. Из 40 таблиц надо перетянуть данные в хранилище и каждую ночь переносить в хранилище изменившиеся данные. 1. Как вы определяете, какие данные в этих 40 таблицах изменились за сутки? 2. Как организована схема учета изменений в хранилище? например могут быть поля date_from, date_to и при получении новой строки, старой проставляется date_to, но тут и к быстродействию вопрос при наличии пары миллиардов записей и к распуханию таблицы хранилища, особенно, если БД не колоночная Заранее спасибо по п. 2 - не надо все таблицы делать историчными - это избыточно, ну а там где надо, если апдеты долгие - вариант как в data vault - одно поле вместо двух изпользуй date_from - и никаких апдейтов не надо, только инсерты. ... | |||
| : 
 Нравится:
     Не нравится:
     | |||
|  | 
| 
 | 

| start [/forum/topic.php?fid=49&tablet=1&tid=1857026]: | 0ms | 
| get settings: | 10ms | 
| get forum list: | 13ms | 
| check forum access: | 3ms | 
| check topic access: | 3ms | 
| track hit: | 37ms | 
| get topic data: | 10ms | 
| get forum data: | 2ms | 
| get page messages: | 42ms | 
| get tp. blocked users: | 1ms | 
| others: | 243ms | 
| total: | 364ms | 

 
    | 0 / 0 | 
