|
|
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
Были две учетные системы. Мы написали третью, которая должна заменить первые две. Теперь необходимо сделать, чтобы все добавления / изменения данных в обьединенной системе дублировались в первых двух системах. Это необходимо, во-первых для интеграции с другими системами, а во-вторых потому что новая система еще сырая, и пользователи к ней не привыкли. Всего нужно заполнять в старых системах около 50 таблиц. Может быть, у кого-то уже есть опыт решения подобной задачи? Как вы ее решали? Я попытался написать ETL-процедуры на PL/SQL, но понял, сделать это качественно, надежно, да еще и быстро будет ну ооочень непросто. Может быть, ETL-Tool какой-нибудь для этого лучше применить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 12:38:56 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
megaexpertБыли две учетные системы. Мы написали третью, которая должна заменить первые две. Теперь необходимо сделать, чтобы все добавления / изменения данных в обьединенной системе дублировались в первых двух системах. Это необходимо, во-первых для интеграции с другими системами, а во-вторых потому что новая система еще сырая, и пользователи к ней не привыкли. Всего нужно заполнять в старых системах около 50 таблиц. Может быть, у кого-то уже есть опыт решения подобной задачи? Как вы ее решали? Я попытался написать ETL-процедуры на PL/SQL, но понял, сделать это качественно, надежно, да еще и быстро будет ну ооочень непросто. Может быть, ETL-Tool какой-нибудь для этого лучше применить? какой-нибудь, это (имхо) - не вариант мегаэксперту нужен мегасовт для мегабега по мегакругу ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 13:34:46 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
megaexpert, вера в какой нибудь ETL умиляет)) конечно проще заплатить кучу бабла маркетологам и услышать как все будет хорошо, чем нанять профессионалов которые хорошо сделают... маркетологи то песни поют и на дудке играют)) а программисты вечно ходят недовольные)) но вы держитесь там. хорошего вам настроения)) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 13:38:06 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
megaexpertБыли две учетные системы. Мы написали третью, которая должна заменить первые две. Теперь необходимо сделать, чтобы все добавления / изменения данных в обьединенной системе дублировались в первых двух системах. Это необходимо, во-первых для интеграции с другими системами, а во-вторых потому что новая система еще сырая, и пользователи к ней не привыкли. Всего нужно заполнять в старых системах около 50 таблиц. Может быть, у кого-то уже есть опыт решения подобной задачи? Как вы ее решали? Я попытался написать ETL-процедуры на PL/SQL, но понял, сделать это качественно, надежно, да еще и быстро будет ну ооочень непросто. Может быть, ETL-Tool какой-нибудь для этого лучше применить? есть опыт построения такой схемы работы. ETL тут, в принципе, вторичен. Основной элемент будет cdc (golden gate) который будет давать вам дельту изменившихся данных и, возможно, применять их к новой системе. Но по опыту без pl/sql будет сложно обойтись, если трансформации довольно сложные ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 13:53:23 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
megaexpertБыли две учетные системы. Мы написали третью, которая должна заменить первые две. Теперь необходимо сделать, чтобы все добавления / изменения данных в обьединенной системе дублировались в первых двух системах. Это необходимо, во-первых для интеграции с другими системами, а во-вторых потому что новая система еще сырая, и пользователи к ней не привыкли. Всего нужно заполнять в старых системах около 50 таблиц. Может быть, у кого-то уже есть опыт решения подобной задачи? Как вы ее решали? Я попытался написать ETL-процедуры на PL/SQL, но понял, сделать это качественно, надежно, да еще и быстро будет ну ооочень непросто. Может быть, ETL-Tool какой-нибудь для этого лучше применить? Гуглите про CDC, его можно организовать как мануально, так и с помощью ETL (и необязательно такого дорогого как GG), у Talend/Informatica и других интеграционных решений это присутствует. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 13:59:41 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
Да, кстати, GG можно взять на определенный срок, например, 1 год. Миграция ведь конечна ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 14:48:49 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
Alexander Ryndin есть опыт построения такой схемы работы. ETL тут, в принципе, вторичен. Основной элемент будет cdc (golden gate) который будет давать вам дельту изменившихся данных и, возможно, применять их к новой системе. Но по опыту без pl/sql будет сложно обойтись, если трансформации довольно сложные Средство хорошее, только надо кредит взять. Будет давать дельту, и забирать деньгу. Александр, если не ошибаюсь, вы как-то говорили, что у Оракла выложены все цены на продукты в открытую. Если это так, не могли бы подсказать, где? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 15:41:48 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
https://docs.oracle.com/database/121/UPGRD/deprecated.htm#UPGRD60014 Oracle Change Data Capture is not included in Oracle Database 12c and has been replaced with Oracle GoldenGate В связи с этим интересует такой вопрос - что делать, если хочется своими силами, но с похожей скоростью, неужели оракл закрыл все доступное? У некоторых даже предложение парсить логмайнер поступала в связи с этим ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 18:08:44 |
|
||
|
Обьединение двух систем: ETL решение
|
|||
|---|---|---|---|
|
#18+
kaldorey, матвью лог + джоб который по нему бегает, обрабатывает, чистит?) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.06.2016, 19:38:07 |
|
||
|
|
start [/forum/search_topic.php?author=herrlos&author_mode=last_topics&do_search=1]: |
0ms |
get settings: |
7ms |
get forum list: |
17ms |
get settings: |
12ms |
get forum list: |
18ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
83ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
2ms |
| others: | 665ms |
| total: | 878ms |
| 0 / 0 |
