|
Действия ...
|
23.06.2017, 17:42:18
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
23.06.2017, 17:32:06
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
делаю все в SSIS есть три источника данных, данные из них должны поступать в одну таблицу сперва из первого источника, потом из второго те которых нет в первом, потом из третьего те которых нет в двух предыдущих все источники разные, завернуть их в транзакцию нельзя идея такая 1) загружаю данные по очереди в промежуточную таблицу 2) если она не пустая то удаляю данные из рабочей таблицы и заливаю из временной в одной транзакции 3) удаляю данные из временной таблицы таким образом я исключаю ситуацию когда загрузка новой версии данных не прошла, а предыдущие данные удалились ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 17:42:18
|
|||
|---|---|---|---|
покритикуйте синхронизацию данных |
|||
|
#18+
fduch f.f., загружать все в 3 разные таблицы в STAGE-области одновременно, потом отправлять нужные по вашей логике данные в расчетную область ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 18:38:24
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
Что-то тоже не пойму, зачем эти переливания? Грузите все в stage-область, хоть в несколько таблиц, хоть в одну, но с учётом источника данных (код системы источника). А дальше что душе угодно: добавляйте, обновляйте, удаляйте, пересчитывайте, генерируйте суррогатники, откатывайте, перегружайте за 3 прошедших дня и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 19:05:07
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
обычно ETL так в 3 слоя landing -> staging -> DWH landing транкейтится и туда заливаестя дельта (елси есть поля типа dat_lstUpdate то отлично - если нет то можно проверять хеш записей или нужных полей и тоже забирать дельту) staging хранит все данные но если данных немного и логика простая то можно и без landing - staging вместо него с полной перезаливкой и truncate если в исходных системах есть ПК (т.е они конечно должны быть - но файлы могут прийти и csv скажем а там это не всегда очевидно) то при заливке в staging проверятеся по ПК и апдейттися или инсертится а если его даже и нет - то придется найти :) набор полей к-й считается уникальным. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 23:01:25
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
Гулин Федоробычно ETL так в 3 слоя landing -> staging -> DWH если в исходных системах есть ПК (т.е они конечно должны быть - но файлы могут прийти и csv скажем а там это не всегда очевидно) то при заливке в staging проверятеся по ПК и апдейттися или инсертится а если его даже и нет - то придется найти :) набор полей к-й считается уникальным. Проверять приходилось практически всегда, когда не уверен на 100% в источнике (т.е. во всех случаях когда к источнику не подпускают). Столько неожиданного г-на иногда видишь, что лучше перестаховаться :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=49&mobile=1&tid=1858204]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
190ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 212ms |
| total: | 491ms |
| 0 / 0 |
