|
Действия ...
|
23.06.2017, 17:42
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
|
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
23.06.2017, 17:32
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
делаю все в SSIS есть три источника данных, данные из них должны поступать в одну таблицу сперва из первого источника, потом из второго те которых нет в первом, потом из третьего те которых нет в двух предыдущих все источники разные, завернуть их в транзакцию нельзя идея такая 1) загружаю данные по очереди в промежуточную таблицу 2) если она не пустая то удаляю данные из рабочей таблицы и заливаю из временной в одной транзакции 3) удаляю данные из временной таблицы таким образом я исключаю ситуацию когда загрузка новой версии данных не прошла, а предыдущие данные удалились ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 17:42
|
|||
|---|---|---|---|
покритикуйте синхронизацию данных |
|||
|
#18+
fduch f.f., загружать все в 3 разные таблицы в STAGE-области одновременно, потом отправлять нужные по вашей логике данные в расчетную область ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 18:38
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
Что-то тоже не пойму, зачем эти переливания? Грузите все в stage-область, хоть в несколько таблиц, хоть в одну, но с учётом источника данных (код системы источника). А дальше что душе угодно: добавляйте, обновляйте, удаляйте, пересчитывайте, генерируйте суррогатники, откатывайте, перегружайте за 3 прошедших дня и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 19:05
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
обычно ETL так в 3 слоя landing -> staging -> DWH landing транкейтится и туда заливаестя дельта (елси есть поля типа dat_lstUpdate то отлично - если нет то можно проверять хеш записей или нужных полей и тоже забирать дельту) staging хранит все данные но если данных немного и логика простая то можно и без landing - staging вместо него с полной перезаливкой и truncate если в исходных системах есть ПК (т.е они конечно должны быть - но файлы могут прийти и csv скажем а там это не всегда очевидно) то при заливке в staging проверятеся по ПК и апдейттися или инсертится а если его даже и нет - то придется найти :) набор полей к-й считается уникальным. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
23.06.2017, 23:01
|
|||
|---|---|---|---|
|
|||
покритикуйте синхронизацию данных |
|||
|
#18+
Гулин Федоробычно ETL так в 3 слоя landing -> staging -> DWH если в исходных системах есть ПК (т.е они конечно должны быть - но файлы могут прийти и csv скажем а там это не всегда очевидно) то при заливке в staging проверятеся по ПК и апдейттися или инсертится а если его даже и нет - то придется найти :) набор полей к-й считается уникальным. Проверять приходилось практически всегда, когда не уверен на 100% в источнике (т.е. во всех случаях когда к источнику не подпускают). Столько неожиданного г-на иногда видишь, что лучше перестаховаться :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=49&mobile=1&tid=1858204]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
163ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
45ms |
get tp. blocked users: |
1ms |
| others: | 234ms |
| total: | 488ms |
| 0 / 0 |
Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...
