powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / Oracle [игнор отключен] [закрыт для гостей] / ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
25 сообщений из 80, страница 1 из 4
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210079
Задача: максимально быстрый захват данных с минимальной нагрузкой на системы источники.
Есть источники Oracle, MSSQL, PosgtreSQL, и есть один приемник Oracle. Критична скорость только в Oracle -> Oracle.

1. В ETL средствах Informatica, Oracle Data Integrator и других используется CDC через Oracle GoldenGate, который интегрируется с ETL-инструментами (например, Oracle Data Integrator) ), или ETL средства умеют напрямую читать redo log-и оракла?
2. Oracle GoldenGate читает данные непосредственно из redo log только в Oracle, а в остальных СУБД берет данные из Базы Данных ( MS SQL (из CDC Tables), DB2, PostgreSQL ) через их родные библиотеки доступа?
3. Для захвата и доставки данных Oracle -> Oracle в чем преимущества использования Oracle GoldenGate, или можно без ощутимых минусов делать CDC ( Asynchronous HotLog Mode / Distributed HotLog Mode / AutoLog Mode ) средствами самой СУБД?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210203
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1. Обычно ETL-средства не умеют сами захватывать изменения из журналов. Например, ODI умеет создавать триггеры для захвата изменений, использовать GoldenGate и т.д. (нужно смотреть, какие там еще есть JKM)

2. Не все так просто. С СУБД Oracle GoldenGate может работать в двух режимах - classic и integrated. В classic он сам читает журналы, в integrated использует XStream. Integrated режим в последнее время становится предпочтительнее, потому что в разы быстрее (у меня был пример захвата 500 Гб редо/час), а также потому что поддерживает большее типов данных и фич СУБД (захват XMLTYPE, SECUREFILES, LOB partial changes, зашифрованных данных и т.д.).
С MSSQL захват осуществляется не из CDC таблиц, а напрямую из процессов MSSQL CDC. Поскольку CDC таблицы на источнике не пишутся, поэтому нагрузка на источник минимальна.
DB2 не знаю - не скажу. Захват из PgSQL с помощью GoldenGate не поддерживается - можно использовать один из альтернативных JKM ODI. Например, тот же триггерный захват.

3. Oracle CDC - это технология, основанная на Streams со всеми вытекающими. Помимо этого Oracle CDC уже deprecated .
http://docs.oracle.com/cd/E11882_01/server.112/e25554/cdc.htm Oracle Change Data Capture will be de-supported in a future release of Oracle Database and will be replaced with Oracle GoldenGate. Therefore, Oracle strongly recommends that you use Oracle GoldenGate for new applications.
For Oracle Database 11g Release 2 (11.2), Change Data Capture continues to function as in earlier releases. If you are currently using Change Data Capture, then you will be able to continue to do so for the foreseeable future. However, Change Data Capture will not be further enhanced, and will only be supported based on the current, documented functionality.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210230
Фотография Apex
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CDC из Redo или через OGG1. В ETL средствах Informatica
Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210235
Ок. CDC и Streams отпадает.

Alexander Ryndin2. Не все так просто. С СУБД Oracle GoldenGate может работать в двух режимах - classic и integrated. В classic он сам читает журналы, в integrated использует XStream. Integrated режим в последнее время становится предпочтительнее, потому что в разы быстрее (у меня был пример захвата 500 Гб редо/час), а также потому что поддерживает большее типов данных и фич СУБД (захват XMLTYPE, SECUREFILES, LOB partial changes, зашифрованных данных и т.д.).
С MSSQL захват осуществляется не из CDC таблиц, а напрямую из процессов MSSQL CDC. Поскольку CDC таблицы на источнике не пишутся, поэтому нагрузка на источник минимальна.
DB2 не знаю - не скажу. Захват из PgSQL с помощью GoldenGate не поддерживается - можно использовать один из альтернативных JKM ODI. Например, тот же триггерный захват.
Да, это то что надо.
XStream это аналог Streams, тоже встроенный в СУБД, и для захвата Oracle->Oracle можно обойтись пока без OGG?
А OGG необходим только для выгрузки Oracle->другие СУБД?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210236
Alexander Ryndin1. Обычно ETL-средства не умеют сами захватывать изменения из журналов. Например, ODI умеет создавать триггеры для захвата изменений, использовать GoldenGate и т.д. (нужно смотреть, какие там еще есть JKM)
ApexCDC из Redo или через OGG1. В ETL средствах Informatica
Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же.
Мнения разошлись :) Я вот тоже пытаюсь понять, действительно Informatica напрямую может работать с redo или это маркетинговая лапша.
Change Data Capture Option
С LogMiner более менее понятно, это оракловая тулза, часть самой СУБД. А вот как Informatica напрямую читает из redo-log-ов по какой-то "patented technology", это reverse-ingeneering или есть открытые спецификации по структуре redo?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210454
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ApexCDC из Redo или через OGG1. В ETL средствах Informatica
Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же.Неверно. Informatica, также как и Oracle, использует для сбора изменений купленный продукт.
Вот только они купили компанию из в второго эшелона, а Oracle купил лидера рынка.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210465
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CDC из Redo или через OGG XStream это аналог Streams, тоже встроенный в СУБД, и для захвата Oracle->Oracle можно обойтись пока без OGG?
А OGG необходим только для выгрузки Oracle->другие СУБД?Нет. XStream это не аналог Streams. Это больше похоже на MS CDC. XStream позволяет написать собственное приложение, которое подключится к СУБД и подпишется на получение изменений. Т.е. XStream это скорее API для разработчиков.
Ну и до кучи XStream входит в лицензию GoldenGate. Это написано вот здесь .
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210469
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
CDC из Redo или через OGGМнения разошлись :) Я вот тоже пытаюсь понять, действительно Informatica напрямую может работать с redo или это маркетинговая лапша.Это именно она :)
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210474
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если будете выбирать, то закажите небольшой PoC на своих данных.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210959
Alexander RyndinCDC из Redo или через OGG XStream это аналог Streams, тоже встроенный в СУБД, и для захвата Oracle->Oracle можно обойтись пока без OGG?
А OGG необходим только для выгрузки Oracle->другие СУБД?Нет. XStream это не аналог Streams. Это больше похоже на MS CDC. XStream позволяет написать собственное приложение, которое подключится к СУБД и подпишется на получение изменений. Т.е. XStream это скорее API для разработчиков.
Ну и до кучи XStream входит в лицензию GoldenGate. Это написано вот здесь .
Понятно, в любом случае нужен Oracle GoldenGate.
А что значит XStream построен на инфраструктуре Oracle Streams?
автор XStream, which is built on the infrastructure of Oracle Streams , provides application programming interfaces (APIs) that enable client applications to receive real-time data changes from an Oracle database (using XStream Out APIs) and to send real-time data changes to an Oracle database (using XStream In APIs). These data changes can be shared between Oracle databases and other systems, such as filesystems and non-Oracle databases. XStream is licensed via the Oracle GoldenGate product . You must purchase a license for this product before using the XStream APIs. Please contact your Oracle sales representative for additional information.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38210984
Alexander RyndinApexпропущено...

Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же.Неверно. Informatica, также как и Oracle, использует для сбора изменений купленный продукт.
Вот только они купили компанию из в второго эшелона, а Oracle купил лидера рынка.
А какой продукт использует Informatica, я так понял, что ей по любому нужно использовать In/Out API XStream, а значит и OGG?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38211925
Alexander RyndinCDC из Redo или через OGGМнения разошлись :) Я вот тоже пытаюсь понять, действительно Informatica напрямую может работать с redo или это маркетинговая лапша.Это именно она :)Что за бред. Informatica версиях отлично умеет напрямую работать с redo, и, более того скорость забора cdc примерно такая же, как и у GG (раньше было не так). То, что для этого она использует купленный продукт, мало кого интересует. Это уже давно часть Informatica
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38211929
CDC из Redo или через OGGА какой продукт использует Informatica, я так понял, что ей по любому нужно использовать In/Out API XStream, а значит и OGG?нет, OGG не используется , а используется приобретенный http://www.wisdomforce.com/, но какая разница?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38211938
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
неугомонный оптимизаторAlexander Ryndinпропущено...
Это именно она :)Что за бред. Informatica версиях отлично умеет напрямую работать с redo, и, более того скорость забора cdc примерно такая же, как и у GG (раньше было не так). То, что для этого она использует купленный продукт, мало кого интересует. Это уже давно часть InformaticaПримерно такая же - это 500 Гб редо/час? :) Ну-ну. Да и с типами данных там будут однозначные проблемы.
Если будете выбирать продукт, то спрашивайте референсы и просите POC на ваших данных
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38211943
неугомонный оптимизаторCDC из Redo или через OGGА какой продукт использует Informatica, я так понял, что ей по любому нужно использовать In/Out API XStream, а значит и OGG?нет, OGG не используется , а используется приобретенный http://www.wisdomforce.com/, но какая разница?
Разница может быть если использовать официальный API (XStream) или собственный парсер redo-log полученный через revers-ingeneering. Последнее может быть менее стабильно.
А использование официального API (XStream) подразумевает лицензирование OGG, как уже выше писалось.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38211946
Alexander Ryndin500 Гб редо/час?что бы забрать 500Гб редо/в час, сначала нужно нагенерить 500Гб редо/в час :)) Но при тех же аппаратных условиях, результаты будут не сильно отличаться. Или GG телепортирует мимо дисковой подсистемы и использует квантовый алгоритм разбора логов?
З.Ы. но сравнивать GG и Informatica нет смысла - продукты разного класса и предназначения.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38211975
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
неугомонный оптимизаторAlexander Ryndin500 Гб редо/час?что бы забрать 500Гб редо/в час, сначала нужно нагенерить 500Гб редо/в час :)) Но при тех же аппаратных условиях, результаты будут не сильно отличаться. Или GG телепортирует мимо дисковой подсистемы и использует квантовый алгоритм разбора логов?
З.Ы. но сравнивать GG и Informatica нет смысла - продукты разного класса и предназначения.:) Какой вы идеалист. Вон Ладу Калина тоже из железа делают, как и Феррари. А автомобили все-таки разные получаются.
Я и не сравниваю GG и Informatica. Informatica должна сравниваться с ODI, а бывший Wizdomforce с GoldenGate.

Если источником является Oracle, то вопросы будут следующие:
1) Захват сжатых данных (OLTP, HCC компрессия)?
2) Распараллеливание захвата изменений?
3) Прозрачность работы с RAC?
4) Поддержкая шифрованных данных?
5) Захват частично измененных LOB (когда меняется кусочек LOB и в журнал попадает только это измененный кусочек)?
6) Захват сжатых SECUREFILE LOB?
7) Режим downstream (это когда изменения передают на удаленную систему с помощью потока REDO, а там парсятся)?
8) Захват direct-операций (sqlldr с direct, INSERT + хинт APPEND)?
9) Ссылки на внедрения?

Ответите на вопросики? :)
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38212006
Alexander Ryndin,

Бессмысленный разговор. Надо идти от задачи. Скажу лишь, что пп 1-8 зачастую не нужны, зато нужен полноценный масштабируемый ETL, а cdc - всего лишь малая часть задачи. А про ссылки на внедрения Informatica, это, надеюсь, шутка)
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38212015
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
неугомонный оптимизаторAlexander Ryndin,

Бессмысленный разговор. Надо идти от задачи. Скажу лишь, что пп 1-8 зачастую не нужны, зато нужен полноценный масштабируемый ETL, а cdc - всего лишь малая часть задачи. А про ссылки на внедрения Informatica, это, надеюсь, шутка)Конечно, ETL - это большая задача, но и сама CDC по журналам - это весьма технологический продукт. И он имеет ряд применений - не обязательно в рамках ETL. Многим нужен обычный отчетный сервер, кто-то просто синхронизирует данные между платформами, кому-то нужен инструмент для безостановочного переезда между система и т.д.
По поводу референсов вы меня прекрасно поняли - зачем косить по дурака? Вопрос именно про внедрение именно PWX CDC Express.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38212757
Alexander Ryndinнеугомонный оптимизаторпропущено...
Что за бред. Informatica версиях отлично умеет напрямую работать с redo, и, более того скорость забора cdc примерно такая же, как и у GG (раньше было не так). То, что для этого она использует купленный продукт, мало кого интересует. Это уже давно часть InformaticaПримерно такая же - это 500 Гб редо/час? :) Ну-ну. Да и с типами данных там будут однозначные проблемы.
Если будете выбирать продукт, то спрашивайте референсы и просите POC на ваших данных
Насчет PoC ок.
А если использовать Informatica, то можно для неё использовать GlodenGate, какие это дает преимущества и как это будет выглядеть?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38215489
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Насчет PoC окА если использовать Informatica, то можно для неё использовать GlodenGate, какие это дает преимущества и как это будет выглядеть?Да, конечно, это возможно. Но если Вы используете GoldenGate, то он обычно приносит измененные данные в СУБД. Конечно, GoldenGate может вытаскивать данные в плоские файлы или XML, но так делают довольно редко.
Учитывая вышесказанное, трансформацию быстрее всего делать внутри СУБД с помощью CTAS (create table as select), т.е. в режиме pushdown Informatica, либо с помощью ODI (у которого этот режим, по сути, основной, если не единственный).
Ну и в Informatica Вам придется вручную настраивать все процессы, а в ODI есть готовые модули для GoldenGate, которые задействуются обычным мышкотасканием.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38215496
Alexander RyndinНасчет PoC окА если использовать Informatica, то можно для неё использовать GlodenGate, какие это дает преимущества и как это будет выглядеть?Да, конечно, это возможно. Но если Вы используете GoldenGate, то он обычно приносит измененные данные в СУБД. Конечно, GoldenGate может вытаскивать данные в плоские файлы или XML, но так делают довольно редко.
Учитывая вышесказанное, трансформацию быстрее всего делать внутри СУБД с помощью CTAS (create table as select), т.е. в режиме pushdown Informatica, либо с помощью ODI (у которого этот режим, по сути, основной, если не единственный).
Ну и в Informatica Вам придется вручную настраивать все процессы, а в ODI есть готовые модули для GoldenGate, которые задействуются обычным мышкотасканием.
А разве преобразования внутри транзакционной СУБД Oracle будут быстрее, чем внутри Informatica (в её внутренней нетранзакционной СУБД)?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38215506
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
преобразования внутри транзакциоА разве преобразования внутри транзакционной СУБД Oracle будут быстрее, чем внутри Informatica (в её внутренней нетранзакционной СУБД)?По крайней мере вице-президент Informatica считает так .
Правда, она в конце говорит - ну да, скорость растет, но не всегда... Это тоже понятно почему - Informatica изначально построена как ETL, а не как ELT.
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38216284
Alexander Ryndin3. Oracle CDC - это технология, основанная на Streams со всеми вытекающими. Помимо этого Oracle CDC уже deprecated .
http://docs.oracle.com/cd/E11882_01/server.112/e25554/cdc.htm Oracle Change Data Capture will be de-supported in a future release of Oracle Database and will be replaced with Oracle GoldenGate. Therefore, Oracle strongly recommends that you use Oracle GoldenGate for new applications.
For Oracle Database 11g Release 2 (11.2), Change Data Capture continues to function as in earlier releases. If you are currently using Change Data Capture, then you will be able to continue to do so for the foreseeable future. However, Change Data Capture will not be further enhanced, and will only be supported based on the current, documented functionality.
А что за вытекающие и вместе с CDC умрёт ли Streams или фактически это одно и тоже?
...
Рейтинг: 0 / 0
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
    #38216354
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вместе с CDC умрёт ли StreamsА что за вытекающие и вместе с CDC умрёт ли Streams или фактически это одно и тоже?У Streams есть ряд недостатков по сравнению с тем же GoldenGate, хотя есть и преимущества (которые перетащат в GoldenGate).
Streams заявлен как deprecated еще в ноябре 2009 года.

С другой стороны это не значит, что Streams и CDC умрут, но их не будут дорабатывать. По приведенной Вами ссылке в комментариях все правильно сказано. Вроде как это не так и страшно, но учитывая, например, появление в следующей версии multitenancy , это может означать практическую невозможность использования Streams. Т.е. наличие репликации на Streams может означать невозможность миграции на 12c, а у Oracle Database 11.2 в январе 2015 года заканчивается premier support...

Сейчас бывшие разработчики Streams сконцентрированы на XStream.
...
Рейтинг: 0 / 0
25 сообщений из 80, страница 1 из 4
Форумы / Oracle [игнор отключен] [закрыт для гостей] / ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]