powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
8 сообщений из 8, страница 1 из 1
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075901
dartaen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день,

в некоторой перспективе маячит задача передачи пары-тройки баз (суммарно 150+ таблиц) с SQL Server на какую-то другую платформу и происходить это должно раз в неделю/месяц. Причём база, куда эти данные будут приземляться пока не определена. Есть ли какое-то более-менее универсальное средство которое может пачкой переливать данные между разными базами? Типа возьми там всю базу минус пару таблиц и залей туда. Можно использовать Kafka Connect, но мне этот инструмент не очень нравится тем, что скорее всего придётся делать каждую таблицу отдельно а это геморно, долго и траблшутить сложно. Подскажите, пожалуйста, если конечно есть такие инструменты. Спасибо!
...
Рейтинг: 0 / 0
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075911
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dartaen,

Известный способ уже не первое десятилетие:
1) Таблицы из источника по отдельности по файлам (формат естественно в зависимости от.. , csv, parquet, orc и т.д.) / партиционированно для тяжелых таблиц
2) Из файлов в точку назначения и назначением типов
3) По необходимости настройка всяких дополнительных фишек (identity, pk/fk, и пр.), хотя для самих данных (в том виде как поставлена задача) этот шаг формально не обязателен.
4) Проверка
всё

из инструментов если на поверхности то: ADF, Spark, родные мастера импорта/экспорта от поставщиков ядра базы
...
Рейтинг: 0 / 0
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075942
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом. Конечно, если в компании нет архитектурно утвержденного etl-средства
...
Рейтинг: 0 / 0
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075943
SERG1257
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dartaen суммарно 150+ таблицЭто не тот параметр которого стоит боятся. Каков объем данных? Ибо если объем большой то придется делать и передавать дельту.
dartaen Причём база, куда эти данные будут приземляться пока не определена.В чем суть вопроса тогда?
dartaen придётся делать каждую таблицу отдельноВ любом инструменте придется делать каждую таблицу отдельно.
Всю базу, это только если с SQL Server на SQL Server и делать log shipping
...
Рейтинг: 0 / 0
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075948
andy st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критик
Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом

Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL.
...
Рейтинг: 0 / 0
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075951
andy st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
dartaen,
После осознания того, что в общем случае придётся разбираться отдельно с каждой таблицей и связями между ними, с преобразованием типов данных и при наличии oledb или odbc драйверов к целевой бд можно начать медитации с insert ... select с использованием линкованных серверов (если объемы не очень большие), дальше можно вспомнить что в комплекте с SQL Server идёт такая штука как SQL Server Integration Services. Она, правда, не "модно-стильно-молодежно", а больше "кроваво-энтерпрайзово", но всё равно очень быстро и качественно решает поставленные ей задачи.
Самым неприятным моментом во всей этой "передаче пары-тройки баз" будет являться возможность DDL-изменений в этих базах (развивающиеся системы, обновления коробочных продуктов). В этом случае можно попробовать отморозиться вариантом восстановления воскресного бекапа на dev-сервере и предоставления заказчику полного доступа (в стиле мема с собакой и двумя собачками-игрушками). Если такое не проканает, то одной из этих двух игрушечных собачек в меме будете Вы.
...
Рейтинг: 0 / 0
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075969
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andy st
Критик
Т.к. за etl-процесс должна отвечать сторона-получатель (исходя из заинтересованности), то и выбор etl-средства должен быть ее правом

Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL.


Это какое-то фантастическое предположение )
...
Рейтинг: 0 / 0
Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
    #40075975
andy st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критик
andy st

Это до момента, пока сторона-получатель не начинает выдвигать требования по изменению структуры бд-источника ввиду ограниченности/ущербности выбранного средства ETL.

Это какое-то фантастическое предположение )

Не менее фантастичное, чем написание своего средства etl практически с нуля при наличии уже купленного продукта.
Однако в последнее время встречаются и не такие маразмы...
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Трансфер данных SQL Server -> Oracle/Kafka/SQL Server
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]