Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Репликация из Oracle в DB2 / 16 сообщений из 16, страница 1 из 1
07.11.2013, 15:12
    #38456316
Pavel Beloliptsev
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Добрый день, есть задача репликации данных из БД Oracle Database Standard Edition 11.2.0.3 в DB2 10.1 limited edition.
БД Oracle на Linux Reh Hat 6.
DB2 - возможно будет на Linux (Intel) либо на AIX (Power)
Напрямую ходить в БД Oracle запрещено, т. к. нельзя давать никакую дополнительную нагрузку, нужно от туда забирать дельту раз-два в сутки в период минимальной нагрузки. Почему именно db2 10.1 limited edition - потому что на него есть лицензия в рамках другого продукта который и должен пользоваться данными. Т.е. варианты просто линковки или репликации в другую БД Oracle не подходят.
Текущий объем данных 100 Гб, в течении года возможен рост до 200 Гб. Объем суточных изменений в районе 10% от всего объема данных.
1. Какие есть бесплатные варианты реализации (любая закупка дополнительного ПО это выход за бюджет проекта, что вызывает очень большие проблемы)
2. Какие есть варианты платного ПО позволяющего реализовать такую репликацию? Похоже, что может подойти Oracle GoldenGate, есть ли похожие инструменты от IBM или сторонних производителей?
...
Рейтинг: 0 / 0
07.11.2013, 15:51
    #38456390
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Pavel Beloliptsev1. Какие есть бесплатные варианты реализации (любая закупка дополнительного ПО это выход за бюджет проекта, что вызывает очень большие проблемы)


Нищебродский вариант:
Выгрузка и загрузка csv-файлов.
Обе БД это умеют.
Пишутся скрипты, которые выполняют соответствующие действия по расписанию.
Главное чтобы структура таблиц была одинаковая.
Понятно, что не о каком ACID речи быть не может.
...
Рейтинг: 0 / 0
07.11.2013, 16:15
    #38456436
Hunterik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Pavel Beloliptsev,

продукты у IBM тоже есть такие - CDC for <rdbms> называются.

Можно гонять между разными базами, узнавайте в IBM, может, есть какие-нибудь специальные предложения, Oracle в DB2 всё же...

А так... Возьмите какой-нибудь бесплатный ETL tool, если денег нет, или самописное что-то делайте.

О поддержке забудьте, конечно же, промышленном функционале тоже, но задачу, сможете решить, тем более Linux...

Но напрягать базу всё равно будете в моменты выгрузок - это всё же селекты, а CDC работает по логам, что IBM, что Oracle.

Вопрос цены и предпочтений, остальное расскажут вендоры.
...
Рейтинг: 0 / 0
07.11.2013, 16:23
    #38456465
Hunterik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Если сами будете писать, можете попробовать использовать вот эту утилиту: ingest
...
Рейтинг: 0 / 0
07.11.2013, 16:41
    #38456521
Pavel Beloliptsev
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
2 mad_nazgul, ну через csv? это совсем уж грубо. Линковать БД oracle в принципе можно, главное что бы линк не был постоянным источником чтения, по расписанию можно вытягивать от туда дельту, либо чем то самописным, либо чем то готовым бесплатным, либо чем то готовым платным, если уж нет других вариантов.

2 Hunterik, спасибо, посмотрю.
...
Рейтинг: 0 / 0
07.11.2013, 17:01
    #38456569
Victor Metelitsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Стандартным IBM-овским решением (как минимум до DB2 9.1, далее не интересовался) было создание в Oracle набора вспомогательных таблиц, в которых накапливались изменения, и триггеров, которые эти изменения туда складывали; со стороны DB2 к таблицам доступ через никнеймы. (Потом, после перехода на Express-C, я написал для себя замену APPLY, ходящую на Oracle напрямую).

Очевидно, это недешёвое с точки зрения нагрузки на ораклячью базу решение. Сейчас я обсасываю мысль насчёт использования flashback query. В принципе, в запросе получаем желаемое без всяких вспомогательных таблиц и чтения логов. С другой стороны,

1) надо retention guarantee на значительное количество времени (с соответствующим раздуванием undo) или/и надо быть готовым к полной перекачке всех данных, если APLY-заменитель сломается по какой-то причине и не будет вовремя перезапущен;

2) производительность запросов непонятна - как там будет на большом объёме?
...
Рейтинг: 0 / 0
07.11.2013, 17:12
    #38456595
m&m
m&m
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Pavel Beloliptsev,

м.б. эмулировать стендбай на оракле, и развертывать любой ETL на "стендбай" базе?
наверно проще в реализации, чем пытаться построить ETL с минимальным ипактом на рабочей базе.
...
Рейтинг: 0 / 0
07.11.2013, 17:14
    #38456602
Репликация из Oracle в DB2
Pavel Beloliptsev,

Платный вариант, который работает на основе захвата данных из лога транзакций (IBM Q Replication): Q Replication from Oracle sources

Бесплатный вариант, работает на основе триггеров и промежуточных таблиц: SymmetricDS
...
Рейтинг: 0 / 0
07.11.2013, 17:14
    #38456603
Pavel Beloliptsev
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Victor Metelitsa,

С тригерами, боюсь что не получится, т.к. первое это доп нагрузка, а второе это БД шла в составе коробочного продукта и если начать туда вносить изменения можно лишиться поддержки.
...
Рейтинг: 0 / 0
07.11.2013, 21:57
    #38457025
Victor Metelitsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
SELECT
  какие-то-поля,
  ...
  versions_startscn,
  versions_stopscn,
  versions_operation,
  versions_xid
FROM
  sometable VERSIONS BETWEEN SCN ... AND ...
...


и получаем из оракля примерно то же, что могли бы иметь во вспомогательных таблицах с триггерами - лишь бы данные всё ещё были в UNDO. Интересно, почему так не делают? LogMiner. кстати, тоже небезобиден - неплохо грузит процессор.
...
Рейтинг: 0 / 0
07.11.2013, 22:09
    #38457031
Victor Metelitsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Да, кстати, устарелые данные не обязаны быть именно в Undo, (давно) существует ещё Flashback Data Archive, теперь "бесплатный" (наверное, DB2-шный Time Travel Query подтолкнул к тому) даже для Oracle SE1 11.2.0.4 и 12.* , но наша контора с 11.2.0.2 на 11.2.0.4 двинется едва ли скоро.
...
Рейтинг: 0 / 0
14.11.2013, 10:05
    #38464531
Bafalov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Но напрягать базу всё равно будете в моменты выгрузок - это всё же селекты, а CDC работает по логам, что IBM, что Oracle.
...
Рейтинг: 0 / 0
14.11.2013, 10:07
    #38464536
Bafalov
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Bafalov,

http://www.buffalo-club.ru][img] http://www.rusfishing.ru/forum/images/smilies/smil.gif [/img]
...
Рейтинг: 0 / 0
25.12.2013, 11:51
    #38511876
igershan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Добрый день,
если ещё актуально, посмотрите Informatica Data Replication.
http://www.informatica.com/us/products/data-replication/data-replication/

CDC из Oracle Redo Log'ов, не требуется изменений структуры БД, возможна реализация без доп. нагрузки на Oracle.
DB2 на AIX и Linux поддерживается напрямую, без необходимости выгрузки в промежуточные файлы и загрузки их каким-то ещё инструментом.
Также инструмент генерирует целевую схему (на стороне DB2), что полезно, т.к. диалекты SQL разные.
Всё делается в GUI без кодирования и скриптов.
...
Рейтинг: 0 / 0
27.12.2013, 09:12
    #38513865
Victor Metelitsa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Пользователя igershan заблокировал AI - модератор http://www.sql.ru/forum/oracle . (ещё один модератор: "Так ему и передайте - он забанен за некроспам в разделе Оракл.")

В пресловутом посте выше лично я не вижу никакого криминала.

В общем, это спор о том, наполовину пуст или наполовину полон ли стакан. Рекламой можно объявлять или не объявлять почти всё, что угодно - это субъективная вещь, которая зависит от читающего. Что же за настоящая проблема в посте выше? Мигающих картинок не содержит, в сексшоп не приглашает, всё вроде бы по теме. Из письма создалось впечатление, что автор работает в informatica и хочет, чтобы их продукт лучше продавался - вот в чём криминал? Типа, скрываться надо лучше?

К сожалению, бан распространяется на все форумы разом, вмешиваться же в действия других модераторов я не буду.
...
Рейтинг: 0 / 0
27.12.2013, 10:34
    #38513948
tempsqlru
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Репликация из Oracle в DB2
Victor Metelitsa,
спасибо огромное за помощь с прояснением ситуации.
Я очень надеюсь, что Модераторы форума Oracle и AI найдут возможным пересмотреть своё решение.

Тем более, что:
1. первое же сообщение в форуме и такой результат (бан на всё время).
2. что такое некроспам не знают ни правила форума, ни Google.
3. моё сообщение не спам, т.к. представляет собой ответ на явный вопрос, который оставался без ответа. Опять же, речь идёт только об 1м сообщении.
4. т.к. мой первый опыт - то я заранее убедился, что сообщения такого формата на этом конкретном обсуждении есть, и никакой критики ни со стороны модераторов, ни других участников они не вызвали.
5. Если коллеги считают, что я нарушил какие-то правила sql.ru - буду признателен, если расскажут детали, желательно со ссылкой на оригинал.
6. Я уверен, что от наличия объективной информации на форуме его рядовые участники только выиграют.

С наступающими праздниками и желаю вам удачи и понимания в НГ :)


Victor MetelitsaПользователя igershan заблокировал AI - модератор http://www.sql.ru/forum/oracle . (ещё один модератор: "Так ему и передайте - он забанен за некроспам в разделе Оракл.")

В пресловутом посте выше лично я не вижу никакого криминала.

В общем, это спор о том, наполовину пуст или наполовину полон ли стакан. Рекламой можно объявлять или не объявлять почти всё, что угодно - это субъективная вещь, которая зависит от читающего. Что же за настоящая проблема в посте выше? Мигающих картинок не содержит, в сексшоп не приглашает, всё вроде бы по теме. Из письма создалось впечатление, что автор работает в informatica и хочет, чтобы их продукт лучше продавался - вот в чём криминал? Типа, скрываться надо лучше?

К сожалению, бан распространяется на все форумы разом, вмешиваться же в действия других модераторов я не буду.
...
Рейтинг: 0 / 0
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Репликация из Oracle в DB2 / 16 сообщений из 16, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]