|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Всем добрый день. Прошу вашего совета, в следующей задаче. Необходимо сделать в SSIS проект, который бы брал таблицу из базы №1, по ней фильтровал (по нескольким полям) таблицу из базы №2 и то что осталось ложил в отдельную таблицу из базы №1. Обычный перенос данных в SSIS я делал и не раз. Но как быть теперь? Как сделать join таблиц с разных двух баз так, что бы уже результат этого соединения положить куда нужно. Вариант типа полностью перенести все данные в одну базу и уже потом сделать join не подходит ибо таблицы громадны. Возможно кто то подскажет вариант решения. Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 04:05 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
базы на двух разных серверах или на одном? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 04:23 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Pallich Необходимо сделать в SSIS проект, который бы брал таблицу из базы №1, по ней фильтровал (по нескольким полям) таблицу из базы №2 и то что осталось ложил в отдельную таблицу из базы №1. Вариант типа полностью перенести все данные в одну базу и уже потом сделать join не подходит ибо таблицы громадны. Не, ну можно, канешно, испытывать иллюзии "а-ля страус", но перенести то придется. Либо туда, либо сюда. Ментальный join на расстоянии еще не работает. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 06:39 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Pallich Как сделать join таблиц с разных двух баз Pallich Необходимо сделать в SSIS проект, который бы брал таблицу из базы №1, по ней фильтровал (по нескольким полям) таблицу из базы №2 и то что осталось ложил в отдельную таблицу из базы №1. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 08:03 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Pallich, какие проблемы, не пойму, в SSIS имеются средства влияния, фильтрации и другие, которые могут потребовать для сравнения данных. Изучайте SSIS. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 10:24 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Pallich Необходимо сделать в SSIS проект, который бы брал таблицу из базы №1, по ней фильтровал (по нескольким полям) таблицу из базы №2 и то что осталось ложил в отдельную таблицу из базы №1. ...Как сделать join таблиц с разных двух баз так, что бы уже результат этого соединения положить куда нужно. А зачем вам вообще join? Исходя из вашей постановки, вы извлекаете данные из таблицы 2, фильтруете по таблице 1 (то есть сбрасываете не соответствующие или соответствующие строки) и записываете. Join потребуется, если вы захотите сделать из 1 строки несколько. Инструмент SSIS для такой задачи -- Lookup в режиме Partial. Устанавливаете соответствие полей, устанавливаете свойство "Redirect missing rows to No match output" и обрабатываете далее как вам надо. Как сделать с учетом большого размера таблиц - нужно смотреть какая таблица больше и другие их особенности. Если 2 - имеет смысл думать в сторону циклического опроса 2 с параметрами из 1 в запросе, как вам предлагали выше. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 11:30 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Pallich, если данные отсортированы, то Join, в противном случае Lookup. Более сложные (но и интересные) варианты со скриптами не предлагаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 11:46 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Вот например есть вариант джоина: https://www.sqlshack.com/using-the-merge-join-transformation-in-ssis-packages/ Но это вариант только точного совпадения полей. Как быть если джоинить нужно по двум полям, одно поле - точное совпадение а второе по условию >=? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 15:34 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
Pallich Вот например есть вариант джоина: https://www.sqlshack.com/using-the-merge-join-transformation-in-ssis-packages/ Но это вариант только точного совпадения полей. Как быть если джоинить нужно по двум полям, одно поле - точное совпадение а второе по условию >=? ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 15:36 |
|
Перенос данных между базами используя SSIS
|
|||
---|---|---|---|
#18+
видимо нужно делать так как в видео: ... |
|||
:
Нравится:
Не нравится:
|
|||
16.12.2020, 15:40 |
|
|
start [/forum/topic.php?fid=46&fpage=39&tid=1685291]: |
0ms |
get settings: |
9ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
32ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 128ms |
0 / 0 |