|
покритикуйте синхронизацию данных
|
||
|---|---|---|
Участник
Откуда: Москва / Калуга
Сообщения: 35 963 |
||
| 23.06.2017, 17:42 |
|
|
|
|
|
покритикуйте синхронизацию данных
|
|||
|---|---|---|---|
|
#18+
делаю все в SSIS есть три источника данных, данные из них должны поступать в одну таблицу сперва из первого источника, потом из второго те которых нет в первом, потом из третьего те которых нет в двух предыдущих все источники разные, завернуть их в транзакцию нельзя идея такая 1) загружаю данные по очереди в промежуточную таблицу 2) если она не пустая то удаляю данные из рабочей таблицы и заливаю из временной в одной транзакции 3) удаляю данные из временной таблицы таким образом я исключаю ситуацию когда загрузка новой версии данных не прошла, а предыдущие данные удалились ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2017, 17:32 |
|
||
|
покритикуйте синхронизацию данных
|
|||
|---|---|---|---|
|
#18+
fduch f.f., загружать все в 3 разные таблицы в STAGE-области одновременно, потом отправлять нужные по вашей логике данные в расчетную область ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2017, 17:42 |
|
||
|
покритикуйте синхронизацию данных
|
|||
|---|---|---|---|
|
#18+
Что-то тоже не пойму, зачем эти переливания? Грузите все в stage-область, хоть в несколько таблиц, хоть в одну, но с учётом источника данных (код системы источника). А дальше что душе угодно: добавляйте, обновляйте, удаляйте, пересчитывайте, генерируйте суррогатники, откатывайте, перегружайте за 3 прошедших дня и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2017, 18:38 |
|
||
|
покритикуйте синхронизацию данных
|
|||
|---|---|---|---|
|
#18+
обычно ETL так в 3 слоя landing -> staging -> DWH landing транкейтится и туда заливаестя дельта (елси есть поля типа dat_lstUpdate то отлично - если нет то можно проверять хеш записей или нужных полей и тоже забирать дельту) staging хранит все данные но если данных немного и логика простая то можно и без landing - staging вместо него с полной перезаливкой и truncate если в исходных системах есть ПК (т.е они конечно должны быть - но файлы могут прийти и csv скажем а там это не всегда очевидно) то при заливке в staging проверятеся по ПК и апдейттися или инсертится а если его даже и нет - то придется найти :) набор полей к-й считается уникальным. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2017, 19:05 |
|
||
|
покритикуйте синхронизацию данных
|
|||
|---|---|---|---|
|
#18+
Гулин Федоробычно ETL так в 3 слоя landing -> staging -> DWH если в исходных системах есть ПК (т.е они конечно должны быть - но файлы могут прийти и csv скажем а там это не всегда очевидно) то при заливке в staging проверятеся по ПК и апдейттися или инсертится а если его даже и нет - то придется найти :) набор полей к-й считается уникальным. Проверять приходилось практически всегда, когда не уверен на 100% в источнике (т.е. во всех случаях когда к источнику не подпускают). Столько неожиданного г-на иногда видишь, что лучше перестаховаться :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.06.2017, 23:01 |
|
||
|
|
start [/forum/topic.php?fid=49&msg=39476940&tid=1858204]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
163ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
2ms |
| others: | 250ms |
| total: | 506ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
