|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
Добрый день, в некоторой перспективе маячит задача передачи пары-тройки баз (суммарно 150+ таблиц) с SQL Server на какую-то другую платформу и происходить это должно раз в неделю/месяц. Причём база, куда эти данные будут приземляться пока не определена. Есть ли какое-то более-менее универсальное средство которое может пачкой переливать данные между разными базами? Типа возьми там всю базу минус пару таблиц и залей туда. Можно использовать Kafka Connect, но мне этот инструмент не очень нравится тем, что скорее всего придётся делать каждую таблицу отдельно а это геморно, долго и траблшутить сложно. Подскажите, пожалуйста, если конечно есть такие инструменты. Спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 12:05 |
|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
dartaen, Известный способ уже не первое десятилетие: 1) Таблицы из источника по отдельности по файлам (формат естественно в зависимости от.. , csv, parquet, orc и т.д.) / партиционированно для тяжелых таблиц 2) Из файлов в точку назначения и назначением типов 3) По необходимости настройка всяких дополнительных фишек (identity, pk/fk, и пр.), хотя для самих данных (в том виде как поставлена задача) этот шаг формально не обязателен. 4) Проверка всё из инструментов если на поверхности то: ADF, Spark, родные мастера импорта/экспорта от поставщиков ядра базы ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 13:08 |
|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом. Конечно, если в компании нет архитектурно утвержденного etl-средства ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 17:11 |
|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
dartaen суммарно 150+ таблицЭто не тот параметр которого стоит боятся. Каков объем данных? Ибо если объем большой то придется делать и передавать дельту. dartaen Причём база, куда эти данные будут приземляться пока не определена.В чем суть вопроса тогда? dartaen придётся делать каждую таблицу отдельноВ любом инструменте придется делать каждую таблицу отдельно. Всю базу, это только если с SQL Server на SQL Server и делать log shipping ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 17:14 |
|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
Критик Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 17:47 |
|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
dartaen, После осознания того, что в общем случае придётся разбираться отдельно с каждой таблицей и связями между ними, с преобразованием типов данных и при наличии oledb или odbc драйверов к целевой бд можно начать медитации с insert ... select с использованием линкованных серверов (если объемы не очень большие), дальше можно вспомнить что в комплекте с SQL Server идёт такая штука как SQL Server Integration Services. Она, правда, не "модно-стильно-молодежно", а больше "кроваво-энтерпрайзово", но всё равно очень быстро и качественно решает поставленные ей задачи. Самым неприятным моментом во всей этой "передаче пары-тройки баз" будет являться возможность DDL-изменений в этих базах (развивающиеся системы, обновления коробочных продуктов). В этом случае можно попробовать отморозиться вариантом восстановления воскресного бекапа на dev-сервере и предоставления заказчику полного доступа (в стиле мема с собакой и двумя собачками-игрушками). Если такое не проканает, то одной из этих двух игрушечных собачек в меме будете Вы. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 18:35 |
|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
andy st Критик Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL. Это какое-то фантастическое предположение ) ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 20:56 |
|
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
|
|||
---|---|---|---|
#18+
Критик andy st Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL. Это какое-то фантастическое предположение ) Не менее фантастичное, чем написание своего средства etl практически с нуля при наличии уже купленного продукта. Однако в последнее время встречаются и не такие маразмы... ... |
|||
:
Нравится:
Не нравится:
|
|||
06.06.2021, 22:48 |
|
|
start [/forum/topic.php?fid=46&fpage=23&tid=1684632]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
37ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
2ms |
others: | 287ms |
total: | 411ms |
0 / 0 |