powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Репликация из Oracle в DB2
16 сообщений из 16, страница 1 из 1
Репликация из Oracle в DB2
    #38456316
Pavel Beloliptsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день, есть задача репликации данных из БД Oracle Database Standard Edition 11.2.0.3 в DB2 10.1 limited edition.
БД Oracle на Linux Reh Hat 6.
DB2 - возможно будет на Linux (Intel) либо на AIX (Power)
Напрямую ходить в БД Oracle запрещено, т. к. нельзя давать никакую дополнительную нагрузку, нужно от туда забирать дельту раз-два в сутки в период минимальной нагрузки. Почему именно db2 10.1 limited edition - потому что на него есть лицензия в рамках другого продукта который и должен пользоваться данными. Т.е. варианты просто линковки или репликации в другую БД Oracle не подходят.
Текущий объем данных 100 Гб, в течении года возможен рост до 200 Гб. Объем суточных изменений в районе 10% от всего объема данных.
1. Какие есть бесплатные варианты реализации (любая закупка дополнительного ПО это выход за бюджет проекта, что вызывает очень большие проблемы)
2. Какие есть варианты платного ПО позволяющего реализовать такую репликацию? Похоже, что может подойти Oracle GoldenGate, есть ли похожие инструменты от IBM или сторонних производителей?
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456390
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Pavel Beloliptsev1. Какие есть бесплатные варианты реализации (любая закупка дополнительного ПО это выход за бюджет проекта, что вызывает очень большие проблемы)


Нищебродский вариант:
Выгрузка и загрузка csv-файлов.
Обе БД это умеют.
Пишутся скрипты, которые выполняют соответствующие действия по расписанию.
Главное чтобы структура таблиц была одинаковая.
Понятно, что не о каком ACID речи быть не может.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456436
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Pavel Beloliptsev,

продукты у IBM тоже есть такие - CDC for <rdbms> называются.

Можно гонять между разными базами, узнавайте в IBM, может, есть какие-нибудь специальные предложения, Oracle в DB2 всё же...

А так... Возьмите какой-нибудь бесплатный ETL tool, если денег нет, или самописное что-то делайте.

О поддержке забудьте, конечно же, промышленном функционале тоже, но задачу, сможете решить, тем более Linux...

Но напрягать базу всё равно будете в моменты выгрузок - это всё же селекты, а CDC работает по логам, что IBM, что Oracle.

Вопрос цены и предпочтений, остальное расскажут вендоры.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456465
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если сами будете писать, можете попробовать использовать вот эту утилиту: ingest
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456521
Pavel Beloliptsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2 mad_nazgul, ну через csv? это совсем уж грубо. Линковать БД oracle в принципе можно, главное что бы линк не был постоянным источником чтения, по расписанию можно вытягивать от туда дельту, либо чем то самописным, либо чем то готовым бесплатным, либо чем то готовым платным, если уж нет других вариантов.

2 Hunterik, спасибо, посмотрю.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456569
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Стандартным IBM-овским решением (как минимум до DB2 9.1, далее не интересовался) было создание в Oracle набора вспомогательных таблиц, в которых накапливались изменения, и триггеров, которые эти изменения туда складывали; со стороны DB2 к таблицам доступ через никнеймы. (Потом, после перехода на Express-C, я написал для себя замену APPLY, ходящую на Oracle напрямую).

Очевидно, это недешёвое с точки зрения нагрузки на ораклячью базу решение. Сейчас я обсасываю мысль насчёт использования flashback query. В принципе, в запросе получаем желаемое без всяких вспомогательных таблиц и чтения логов. С другой стороны,

1) надо retention guarantee на значительное количество времени (с соответствующим раздуванием undo) или/и надо быть готовым к полной перекачке всех данных, если APLY-заменитель сломается по какой-то причине и не будет вовремя перезапущен;

2) производительность запросов непонятна - как там будет на большом объёме?
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456595
m&m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
m&m
Гость
Pavel Beloliptsev,

м.б. эмулировать стендбай на оракле, и развертывать любой ETL на "стендбай" базе?
наверно проще в реализации, чем пытаться построить ETL с минимальным ипактом на рабочей базе.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456602
Pavel Beloliptsev,

Платный вариант, который работает на основе захвата данных из лога транзакций (IBM Q Replication): Q Replication from Oracle sources

Бесплатный вариант, работает на основе триггеров и промежуточных таблиц: SymmetricDS
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38456603
Pavel Beloliptsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Victor Metelitsa,

С тригерами, боюсь что не получится, т.к. первое это доп нагрузка, а второе это БД шла в составе коробочного продукта и если начать туда вносить изменения можно лишиться поддержки.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38457025
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
SELECT
  какие-то-поля,
  ...
  versions_startscn,
  versions_stopscn,
  versions_operation,
  versions_xid
FROM
  sometable VERSIONS BETWEEN SCN ... AND ...
...


и получаем из оракля примерно то же, что могли бы иметь во вспомогательных таблицах с триггерами - лишь бы данные всё ещё были в UNDO. Интересно, почему так не делают? LogMiner. кстати, тоже небезобиден - неплохо грузит процессор.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38457031
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да, кстати, устарелые данные не обязаны быть именно в Undo, (давно) существует ещё Flashback Data Archive, теперь "бесплатный" (наверное, DB2-шный Time Travel Query подтолкнул к тому) даже для Oracle SE1 11.2.0.4 и 12.* , но наша контора с 11.2.0.2 на 11.2.0.4 двинется едва ли скоро.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38464531
Bafalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Но напрягать базу всё равно будете в моменты выгрузок - это всё же селекты, а CDC работает по логам, что IBM, что Oracle.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38464536
Bafalov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Bafalov,

http://www.buffalo-club.ru][img] http://www.rusfishing.ru/forum/images/smilies/smil.gif [/img]
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38511876
igershan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день,
если ещё актуально, посмотрите Informatica Data Replication.
http://www.informatica.com/us/products/data-replication/data-replication/

CDC из Oracle Redo Log'ов, не требуется изменений структуры БД, возможна реализация без доп. нагрузки на Oracle.
DB2 на AIX и Linux поддерживается напрямую, без необходимости выгрузки в промежуточные файлы и загрузки их каким-то ещё инструментом.
Также инструмент генерирует целевую схему (на стороне DB2), что полезно, т.к. диалекты SQL разные.
Всё делается в GUI без кодирования и скриптов.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38513865
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пользователя igershan заблокировал AI - модератор http://www.sql.ru/forum/oracle . (ещё один модератор: "Так ему и передайте - он забанен за некроспам в разделе Оракл.")

В пресловутом посте выше лично я не вижу никакого криминала.

В общем, это спор о том, наполовину пуст или наполовину полон ли стакан. Рекламой можно объявлять или не объявлять почти всё, что угодно - это субъективная вещь, которая зависит от читающего. Что же за настоящая проблема в посте выше? Мигающих картинок не содержит, в сексшоп не приглашает, всё вроде бы по теме. Из письма создалось впечатление, что автор работает в informatica и хочет, чтобы их продукт лучше продавался - вот в чём криминал? Типа, скрываться надо лучше?

К сожалению, бан распространяется на все форумы разом, вмешиваться же в действия других модераторов я не буду.
...
Рейтинг: 0 / 0
Репликация из Oracle в DB2
    #38513948
tempsqlru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Victor Metelitsa,
спасибо огромное за помощь с прояснением ситуации.
Я очень надеюсь, что Модераторы форума Oracle и AI найдут возможным пересмотреть своё решение.

Тем более, что:
1. первое же сообщение в форуме и такой результат (бан на всё время).
2. что такое некроспам не знают ни правила форума, ни Google.
3. моё сообщение не спам, т.к. представляет собой ответ на явный вопрос, который оставался без ответа. Опять же, речь идёт только об 1м сообщении.
4. т.к. мой первый опыт - то я заранее убедился, что сообщения такого формата на этом конкретном обсуждении есть, и никакой критики ни со стороны модераторов, ни других участников они не вызвали.
5. Если коллеги считают, что я нарушил какие-то правила sql.ru - буду признателен, если расскажут детали, желательно со ссылкой на оригинал.
6. Я уверен, что от наличия объективной информации на форуме его рядовые участники только выиграют.

С наступающими праздниками и желаю вам удачи и понимания в НГ :)


Victor MetelitsaПользователя igershan заблокировал AI - модератор http://www.sql.ru/forum/oracle . (ещё один модератор: "Так ему и передайте - он забанен за некроспам в разделе Оракл.")

В пресловутом посте выше лично я не вижу никакого криминала.

В общем, это спор о том, наполовину пуст или наполовину полон ли стакан. Рекламой можно объявлять или не объявлять почти всё, что угодно - это субъективная вещь, которая зависит от читающего. Что же за настоящая проблема в посте выше? Мигающих картинок не содержит, в сексшоп не приглашает, всё вроде бы по теме. Из письма создалось впечатление, что автор работает в informatica и хочет, чтобы их продукт лучше продавался - вот в чём криминал? Типа, скрываться надо лучше?

К сожалению, бан распространяется на все форумы разом, вмешиваться же в действия других модераторов я не буду.
...
Рейтинг: 0 / 0
16 сообщений из 16, страница 1 из 1
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Репликация из Oracle в DB2
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]