Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Добрый день, есть задача репликации данных из БД Oracle Database Standard Edition 11.2.0.3 в DB2 10.1 limited edition. БД Oracle на Linux Reh Hat 6. DB2 - возможно будет на Linux (Intel) либо на AIX (Power) Напрямую ходить в БД Oracle запрещено, т. к. нельзя давать никакую дополнительную нагрузку, нужно от туда забирать дельту раз-два в сутки в период минимальной нагрузки. Почему именно db2 10.1 limited edition - потому что на него есть лицензия в рамках другого продукта который и должен пользоваться данными. Т.е. варианты просто линковки или репликации в другую БД Oracle не подходят. Текущий объем данных 100 Гб, в течении года возможен рост до 200 Гб. Объем суточных изменений в районе 10% от всего объема данных. 1. Какие есть бесплатные варианты реализации (любая закупка дополнительного ПО это выход за бюджет проекта, что вызывает очень большие проблемы) 2. Какие есть варианты платного ПО позволяющего реализовать такую репликацию? Похоже, что может подойти Oracle GoldenGate, есть ли похожие инструменты от IBM или сторонних производителей? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 15:12 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Pavel Beloliptsev1. Какие есть бесплатные варианты реализации (любая закупка дополнительного ПО это выход за бюджет проекта, что вызывает очень большие проблемы) Нищебродский вариант: Выгрузка и загрузка csv-файлов. Обе БД это умеют. Пишутся скрипты, которые выполняют соответствующие действия по расписанию. Главное чтобы структура таблиц была одинаковая. Понятно, что не о каком ACID речи быть не может. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 15:51 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Pavel Beloliptsev, продукты у IBM тоже есть такие - CDC for <rdbms> называются. Можно гонять между разными базами, узнавайте в IBM, может, есть какие-нибудь специальные предложения, Oracle в DB2 всё же... А так... Возьмите какой-нибудь бесплатный ETL tool, если денег нет, или самописное что-то делайте. О поддержке забудьте, конечно же, промышленном функционале тоже, но задачу, сможете решить, тем более Linux... Но напрягать базу всё равно будете в моменты выгрузок - это всё же селекты, а CDC работает по логам, что IBM, что Oracle. Вопрос цены и предпочтений, остальное расскажут вендоры. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 16:15 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Если сами будете писать, можете попробовать использовать вот эту утилиту: ingest ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 16:23 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
2 mad_nazgul, ну через csv? это совсем уж грубо. Линковать БД oracle в принципе можно, главное что бы линк не был постоянным источником чтения, по расписанию можно вытягивать от туда дельту, либо чем то самописным, либо чем то готовым бесплатным, либо чем то готовым платным, если уж нет других вариантов. 2 Hunterik, спасибо, посмотрю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 16:41 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Стандартным IBM-овским решением (как минимум до DB2 9.1, далее не интересовался) было создание в Oracle набора вспомогательных таблиц, в которых накапливались изменения, и триггеров, которые эти изменения туда складывали; со стороны DB2 к таблицам доступ через никнеймы. (Потом, после перехода на Express-C, я написал для себя замену APPLY, ходящую на Oracle напрямую). Очевидно, это недешёвое с точки зрения нагрузки на ораклячью базу решение. Сейчас я обсасываю мысль насчёт использования flashback query. В принципе, в запросе получаем желаемое без всяких вспомогательных таблиц и чтения логов. С другой стороны, 1) надо retention guarantee на значительное количество времени (с соответствующим раздуванием undo) или/и надо быть готовым к полной перекачке всех данных, если APLY-заменитель сломается по какой-то причине и не будет вовремя перезапущен; 2) производительность запросов непонятна - как там будет на большом объёме? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 17:01 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Pavel Beloliptsev, м.б. эмулировать стендбай на оракле, и развертывать любой ETL на "стендбай" базе? наверно проще в реализации, чем пытаться построить ETL с минимальным ипактом на рабочей базе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 17:12 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Pavel Beloliptsev, Платный вариант, который работает на основе захвата данных из лога транзакций (IBM Q Replication): Q Replication from Oracle sources Бесплатный вариант, работает на основе триггеров и промежуточных таблиц: SymmetricDS ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 17:14 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Victor Metelitsa, С тригерами, боюсь что не получится, т.к. первое это доп нагрузка, а второе это БД шла в составе коробочного продукта и если начать туда вносить изменения можно лишиться поддержки. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 17:14 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. и получаем из оракля примерно то же, что могли бы иметь во вспомогательных таблицах с триггерами - лишь бы данные всё ещё были в UNDO. Интересно, почему так не делают? LogMiner. кстати, тоже небезобиден - неплохо грузит процессор. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 21:57 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Да, кстати, устарелые данные не обязаны быть именно в Undo, (давно) существует ещё Flashback Data Archive, теперь "бесплатный" (наверное, DB2-шный Time Travel Query подтолкнул к тому) даже для Oracle SE1 11.2.0.4 и 12.* , но наша контора с 11.2.0.2 на 11.2.0.4 двинется едва ли скоро. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.11.2013, 22:09 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Но напрягать базу всё равно будете в моменты выгрузок - это всё же селекты, а CDC работает по логам, что IBM, что Oracle. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2013, 10:05 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Bafalov, http://www.buffalo-club.ru][img] http://www.rusfishing.ru/forum/images/smilies/smil.gif [/img] ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.11.2013, 10:07 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Добрый день, если ещё актуально, посмотрите Informatica Data Replication. http://www.informatica.com/us/products/data-replication/data-replication/ CDC из Oracle Redo Log'ов, не требуется изменений структуры БД, возможна реализация без доп. нагрузки на Oracle. DB2 на AIX и Linux поддерживается напрямую, без необходимости выгрузки в промежуточные файлы и загрузки их каким-то ещё инструментом. Также инструмент генерирует целевую схему (на стороне DB2), что полезно, т.к. диалекты SQL разные. Всё делается в GUI без кодирования и скриптов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.12.2013, 11:51 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Пользователя igershan заблокировал AI - модератор http://www.sql.ru/forum/oracle . (ещё один модератор: "Так ему и передайте - он забанен за некроспам в разделе Оракл.") В пресловутом посте выше лично я не вижу никакого криминала. В общем, это спор о том, наполовину пуст или наполовину полон ли стакан. Рекламой можно объявлять или не объявлять почти всё, что угодно - это субъективная вещь, которая зависит от читающего. Что же за настоящая проблема в посте выше? Мигающих картинок не содержит, в сексшоп не приглашает, всё вроде бы по теме. Из письма создалось впечатление, что автор работает в informatica и хочет, чтобы их продукт лучше продавался - вот в чём криминал? Типа, скрываться надо лучше? К сожалению, бан распространяется на все форумы разом, вмешиваться же в действия других модераторов я не буду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2013, 09:12 |
|
||
|
Репликация из Oracle в DB2
|
|||
|---|---|---|---|
|
#18+
Victor Metelitsa, спасибо огромное за помощь с прояснением ситуации. Я очень надеюсь, что Модераторы форума Oracle и AI найдут возможным пересмотреть своё решение. Тем более, что: 1. первое же сообщение в форуме и такой результат (бан на всё время). 2. что такое некроспам не знают ни правила форума, ни Google. 3. моё сообщение не спам, т.к. представляет собой ответ на явный вопрос, который оставался без ответа. Опять же, речь идёт только об 1м сообщении. 4. т.к. мой первый опыт - то я заранее убедился, что сообщения такого формата на этом конкретном обсуждении есть, и никакой критики ни со стороны модераторов, ни других участников они не вызвали. 5. Если коллеги считают, что я нарушил какие-то правила sql.ru - буду признателен, если расскажут детали, желательно со ссылкой на оригинал. 6. Я уверен, что от наличия объективной информации на форуме его рядовые участники только выиграют. С наступающими праздниками и желаю вам удачи и понимания в НГ :) Victor MetelitsaПользователя igershan заблокировал AI - модератор http://www.sql.ru/forum/oracle . (ещё один модератор: "Так ему и передайте - он забанен за некроспам в разделе Оракл.") В пресловутом посте выше лично я не вижу никакого криминала. В общем, это спор о том, наполовину пуст или наполовину полон ли стакан. Рекламой можно объявлять или не объявлять почти всё, что угодно - это субъективная вещь, которая зависит от читающего. Что же за настоящая проблема в посте выше? Мигающих картинок не содержит, в сексшоп не приглашает, всё вроде бы по теме. Из письма создалось впечатление, что автор работает в informatica и хочет, чтобы их продукт лучше продавался - вот в чём криминал? Типа, скрываться надо лучше? К сожалению, бан распространяется на все форумы разом, вмешиваться же в действия других модераторов я не буду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.12.2013, 10:34 |
|
||
|
|

start [/forum/topic.php?fid=43&msg=38456436&tid=1601206]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
62ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
48ms |
get tp. blocked users: |
1ms |
| others: | 14ms |
| total: | 162ms |

| 0 / 0 |
