|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Задача: максимально быстрый захват данных с минимальной нагрузкой на системы источники. Есть источники Oracle, MSSQL, PosgtreSQL, и есть один приемник Oracle. Критична скорость только в Oracle -> Oracle. 1. В ETL средствах Informatica, Oracle Data Integrator и других используется CDC через Oracle GoldenGate, который интегрируется с ETL-инструментами (например, Oracle Data Integrator) ), или ETL средства умеют напрямую читать redo log-и оракла? 2. Oracle GoldenGate читает данные непосредственно из redo log только в Oracle, а в остальных СУБД берет данные из Базы Данных ( MS SQL (из CDC Tables), DB2, PostgreSQL ) через их родные библиотеки доступа? 3. Для захвата и доставки данных Oracle -> Oracle в чем преимущества использования Oracle GoldenGate, или можно без ощутимых минусов делать CDC ( Asynchronous HotLog Mode / Distributed HotLog Mode / AutoLog Mode ) средствами самой СУБД? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2013, 22:21 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
1. Обычно ETL-средства не умеют сами захватывать изменения из журналов. Например, ODI умеет создавать триггеры для захвата изменений, использовать GoldenGate и т.д. (нужно смотреть, какие там еще есть JKM) 2. Не все так просто. С СУБД Oracle GoldenGate может работать в двух режимах - classic и integrated. В classic он сам читает журналы, в integrated использует XStream. Integrated режим в последнее время становится предпочтительнее, потому что в разы быстрее (у меня был пример захвата 500 Гб редо/час), а также потому что поддерживает большее типов данных и фич СУБД (захват XMLTYPE, SECUREFILES, LOB partial changes, зашифрованных данных и т.д.). С MSSQL захват осуществляется не из CDC таблиц, а напрямую из процессов MSSQL CDC. Поскольку CDC таблицы на источнике не пишутся, поэтому нагрузка на источник минимальна. DB2 не знаю - не скажу. Захват из PgSQL с помощью GoldenGate не поддерживается - можно использовать один из альтернативных JKM ODI. Например, тот же триггерный захват. 3. Oracle CDC - это технология, основанная на Streams со всеми вытекающими. Помимо этого Oracle CDC уже deprecated . http://docs.oracle.com/cd/E11882_01/server.112/e25554/cdc.htm Oracle Change Data Capture will be de-supported in a future release of Oracle Database and will be replaced with Oracle GoldenGate. Therefore, Oracle strongly recommends that you use Oracle GoldenGate for new applications. For Oracle Database 11g Release 2 (11.2), Change Data Capture continues to function as in earlier releases. If you are currently using Change Data Capture, then you will be able to continue to do so for the foreseeable future. However, Change Data Capture will not be further enhanced, and will only be supported based on the current, documented functionality. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 01:01 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
CDC из Redo или через OGG1. В ETL средствах Informatica Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 02:55 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Ок. CDC и Streams отпадает. Alexander Ryndin2. Не все так просто. С СУБД Oracle GoldenGate может работать в двух режимах - classic и integrated. В classic он сам читает журналы, в integrated использует XStream. Integrated режим в последнее время становится предпочтительнее, потому что в разы быстрее (у меня был пример захвата 500 Гб редо/час), а также потому что поддерживает большее типов данных и фич СУБД (захват XMLTYPE, SECUREFILES, LOB partial changes, зашифрованных данных и т.д.). С MSSQL захват осуществляется не из CDC таблиц, а напрямую из процессов MSSQL CDC. Поскольку CDC таблицы на источнике не пишутся, поэтому нагрузка на источник минимальна. DB2 не знаю - не скажу. Захват из PgSQL с помощью GoldenGate не поддерживается - можно использовать один из альтернативных JKM ODI. Например, тот же триггерный захват. Да, это то что надо. XStream это аналог Streams, тоже встроенный в СУБД, и для захвата Oracle->Oracle можно обойтись пока без OGG? А OGG необходим только для выгрузки Oracle->другие СУБД? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 03:22 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander Ryndin1. Обычно ETL-средства не умеют сами захватывать изменения из журналов. Например, ODI умеет создавать триггеры для захвата изменений, использовать GoldenGate и т.д. (нужно смотреть, какие там еще есть JKM) ApexCDC из Redo или через OGG1. В ETL средствах Informatica Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же. Мнения разошлись :) Я вот тоже пытаюсь понять, действительно Informatica напрямую может работать с redo или это маркетинговая лапша. Change Data Capture Option С LogMiner более менее понятно, это оракловая тулза, часть самой СУБД. А вот как Informatica напрямую читает из redo-log-ов по какой-то "patented technology", это reverse-ingeneering или есть открытые спецификации по структуре redo? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 03:23 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
ApexCDC из Redo или через OGG1. В ETL средствах Informatica Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же.Неверно. Informatica, также как и Oracle, использует для сбора изменений купленный продукт. Вот только они купили компанию из в второго эшелона, а Oracle купил лидера рынка. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 10:10 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
CDC из Redo или через OGG XStream это аналог Streams, тоже встроенный в СУБД, и для захвата Oracle->Oracle можно обойтись пока без OGG? А OGG необходим только для выгрузки Oracle->другие СУБД?Нет. XStream это не аналог Streams. Это больше похоже на MS CDC. XStream позволяет написать собственное приложение, которое подключится к СУБД и подпишется на получение изменений. Т.е. XStream это скорее API для разработчиков. Ну и до кучи XStream входит в лицензию GoldenGate. Это написано вот здесь . ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 10:16 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
CDC из Redo или через OGGМнения разошлись :) Я вот тоже пытаюсь понять, действительно Informatica напрямую может работать с redo или это маркетинговая лапша.Это именно она :) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 10:17 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Если будете выбирать, то закажите небольшой PoC на своих данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 10:20 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander RyndinCDC из Redo или через OGG XStream это аналог Streams, тоже встроенный в СУБД, и для захвата Oracle->Oracle можно обойтись пока без OGG? А OGG необходим только для выгрузки Oracle->другие СУБД?Нет. XStream это не аналог Streams. Это больше похоже на MS CDC. XStream позволяет написать собственное приложение, которое подключится к СУБД и подпишется на получение изменений. Т.е. XStream это скорее API для разработчиков. Ну и до кучи XStream входит в лицензию GoldenGate. Это написано вот здесь . Понятно, в любом случае нужен Oracle GoldenGate. А что значит XStream построен на инфраструктуре Oracle Streams? автор XStream, which is built on the infrastructure of Oracle Streams , provides application programming interfaces (APIs) that enable client applications to receive real-time data changes from an Oracle database (using XStream Out APIs) and to send real-time data changes to an Oracle database (using XStream In APIs). These data changes can be shared between Oracle databases and other systems, such as filesystems and non-Oracle databases. XStream is licensed via the Oracle GoldenGate product . You must purchase a license for this product before using the XStream APIs. Please contact your Oracle sales representative for additional information. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 13:07 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander RyndinApexпропущено... Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же.Неверно. Informatica, также как и Oracle, использует для сбора изменений купленный продукт. Вот только они купили компанию из в второго эшелона, а Oracle купил лидера рынка. А какой продукт использует Informatica, я так понял, что ей по любому нужно использовать In/Out API XStream, а значит и OGG? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 13:18 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander RyndinCDC из Redo или через OGGМнения разошлись :) Я вот тоже пытаюсь понять, действительно Informatica напрямую может работать с redo или это маркетинговая лапша.Это именно она :)Что за бред. Informatica версиях отлично умеет напрямую работать с redo, и, более того скорость забора cdc примерно такая же, как и у GG (раньше было не так). То, что для этого она использует купленный продукт, мало кого интересует. Это уже давно часть Informatica ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 22:16 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
CDC из Redo или через OGGА какой продукт использует Informatica, я так понял, что ей по любому нужно использовать In/Out API XStream, а значит и OGG?нет, OGG не используется , а используется приобретенный http://www.wisdomforce.com/, но какая разница? ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 22:27 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
неугомонный оптимизаторAlexander Ryndinпропущено... Это именно она :)Что за бред. Informatica версиях отлично умеет напрямую работать с redo, и, более того скорость забора cdc примерно такая же, как и у GG (раньше было не так). То, что для этого она использует купленный продукт, мало кого интересует. Это уже давно часть InformaticaПримерно такая же - это 500 Гб редо/час? :) Ну-ну. Да и с типами данных там будут однозначные проблемы. Если будете выбирать продукт, то спрашивайте референсы и просите POC на ваших данных ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 22:32 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
неугомонный оптимизаторCDC из Redo или через OGGА какой продукт использует Informatica, я так понял, что ей по любому нужно использовать In/Out API XStream, а значит и OGG?нет, OGG не используется , а используется приобретенный http://www.wisdomforce.com/, но какая разница? Разница может быть если использовать официальный API (XStream) или собственный парсер redo-log полученный через revers-ingeneering. Последнее может быть менее стабильно. А использование официального API (XStream) подразумевает лицензирование OGG, как уже выше писалось. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 22:39 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander Ryndin500 Гб редо/час?что бы забрать 500Гб редо/в час, сначала нужно нагенерить 500Гб редо/в час :)) Но при тех же аппаратных условиях, результаты будут не сильно отличаться. Или GG телепортирует мимо дисковой подсистемы и использует квантовый алгоритм разбора логов? З.Ы. но сравнивать GG и Informatica нет смысла - продукты разного класса и предназначения. ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 22:43 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
неугомонный оптимизаторAlexander Ryndin500 Гб редо/час?что бы забрать 500Гб редо/в час, сначала нужно нагенерить 500Гб редо/в час :)) Но при тех же аппаратных условиях, результаты будут не сильно отличаться. Или GG телепортирует мимо дисковой подсистемы и использует квантовый алгоритм разбора логов? З.Ы. но сравнивать GG и Informatica нет смысла - продукты разного класса и предназначения.:) Какой вы идеалист. Вон Ладу Калина тоже из железа делают, как и Феррари. А автомобили все-таки разные получаются. Я и не сравниваю GG и Informatica. Informatica должна сравниваться с ODI, а бывший Wizdomforce с GoldenGate. Если источником является Oracle, то вопросы будут следующие: 1) Захват сжатых данных (OLTP, HCC компрессия)? 2) Распараллеливание захвата изменений? 3) Прозрачность работы с RAC? 4) Поддержкая шифрованных данных? 5) Захват частично измененных LOB (когда меняется кусочек LOB и в журнал попадает только это измененный кусочек)? 6) Захват сжатых SECUREFILE LOB? 7) Режим downstream (это когда изменения передают на удаленную систему с помощью потока REDO, а там парсятся)? 8) Захват direct-операций (sqlldr с direct, INSERT + хинт APPEND)? 9) Ссылки на внедрения? Ответите на вопросики? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
03.04.2013, 23:19 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander Ryndin, Бессмысленный разговор. Надо идти от задачи. Скажу лишь, что пп 1-8 зачастую не нужны, зато нужен полноценный масштабируемый ETL, а cdc - всего лишь малая часть задачи. А про ссылки на внедрения Informatica, это, надеюсь, шутка) ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2013, 00:02 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
неугомонный оптимизаторAlexander Ryndin, Бессмысленный разговор. Надо идти от задачи. Скажу лишь, что пп 1-8 зачастую не нужны, зато нужен полноценный масштабируемый ETL, а cdc - всего лишь малая часть задачи. А про ссылки на внедрения Informatica, это, надеюсь, шутка)Конечно, ETL - это большая задача, но и сама CDC по журналам - это весьма технологический продукт. И он имеет ряд применений - не обязательно в рамках ETL. Многим нужен обычный отчетный сервер, кто-то просто синхронизирует данные между платформами, кому-то нужен инструмент для безостановочного переезда между система и т.д. По поводу референсов вы меня прекрасно поняли - зачем косить по дурака? Вопрос именно про внедрение именно PWX CDC Express. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2013, 00:11 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander Ryndinнеугомонный оптимизаторпропущено... Что за бред. Informatica версиях отлично умеет напрямую работать с redo, и, более того скорость забора cdc примерно такая же, как и у GG (раньше было не так). То, что для этого она использует купленный продукт, мало кого интересует. Это уже давно часть InformaticaПримерно такая же - это 500 Гб редо/час? :) Ну-ну. Да и с типами данных там будут однозначные проблемы. Если будете выбирать продукт, то спрашивайте референсы и просите POC на ваших данных Насчет PoC ок. А если использовать Informatica, то можно для неё использовать GlodenGate, какие это дает преимущества и как это будет выглядеть? ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2013, 13:26 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Насчет PoC окА если использовать Informatica, то можно для неё использовать GlodenGate, какие это дает преимущества и как это будет выглядеть?Да, конечно, это возможно. Но если Вы используете GoldenGate, то он обычно приносит измененные данные в СУБД. Конечно, GoldenGate может вытаскивать данные в плоские файлы или XML, но так делают довольно редко. Учитывая вышесказанное, трансформацию быстрее всего делать внутри СУБД с помощью CTAS (create table as select), т.е. в режиме pushdown Informatica, либо с помощью ODI (у которого этот режим, по сути, основной, если не единственный). Ну и в Informatica Вам придется вручную настраивать все процессы, а в ODI есть готовые модули для GoldenGate, которые задействуются обычным мышкотасканием. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.04.2013, 16:27 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander RyndinНасчет PoC окА если использовать Informatica, то можно для неё использовать GlodenGate, какие это дает преимущества и как это будет выглядеть?Да, конечно, это возможно. Но если Вы используете GoldenGate, то он обычно приносит измененные данные в СУБД. Конечно, GoldenGate может вытаскивать данные в плоские файлы или XML, но так делают довольно редко. Учитывая вышесказанное, трансформацию быстрее всего делать внутри СУБД с помощью CTAS (create table as select), т.е. в режиме pushdown Informatica, либо с помощью ODI (у которого этот режим, по сути, основной, если не единственный). Ну и в Informatica Вам придется вручную настраивать все процессы, а в ODI есть готовые модули для GoldenGate, которые задействуются обычным мышкотасканием. А разве преобразования внутри транзакционной СУБД Oracle будут быстрее, чем внутри Informatica (в её внутренней нетранзакционной СУБД)? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.04.2013, 16:45 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
преобразования внутри транзакциоА разве преобразования внутри транзакционной СУБД Oracle будут быстрее, чем внутри Informatica (в её внутренней нетранзакционной СУБД)?По крайней мере вице-президент Informatica считает так . Правда, она в конце говорит - ну да, скорость растет, но не всегда... Это тоже понятно почему - Informatica изначально построена как ETL, а не как ELT. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.04.2013, 17:06 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
Alexander Ryndin3. Oracle CDC - это технология, основанная на Streams со всеми вытекающими. Помимо этого Oracle CDC уже deprecated . http://docs.oracle.com/cd/E11882_01/server.112/e25554/cdc.htm Oracle Change Data Capture will be de-supported in a future release of Oracle Database and will be replaced with Oracle GoldenGate. Therefore, Oracle strongly recommends that you use Oracle GoldenGate for new applications. For Oracle Database 11g Release 2 (11.2), Change Data Capture continues to function as in earlier releases. If you are currently using Change Data Capture, then you will be able to continue to do so for the foreseeable future. However, Change Data Capture will not be further enhanced, and will only be supported based on the current, documented functionality. А что за вытекающие и вместе с CDC умрёт ли Streams или фактически это одно и тоже? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2013, 19:21 |
|
ETL Informatica, ODI и другие используют Oracle GoldenGate для CDC или напрямую redo?
|
|||
---|---|---|---|
#18+
вместе с CDC умрёт ли StreamsА что за вытекающие и вместе с CDC умрёт ли Streams или фактически это одно и тоже?У Streams есть ряд недостатков по сравнению с тем же GoldenGate, хотя есть и преимущества (которые перетащат в GoldenGate). Streams заявлен как deprecated еще в ноябре 2009 года. С другой стороны это не значит, что Streams и CDC умрут, но их не будут дорабатывать. По приведенной Вами ссылке в комментариях все правильно сказано. Вроде как это не так и страшно, но учитывая, например, появление в следующей версии multitenancy , это может означать практическую невозможность использования Streams. Т.е. наличие репликации на Streams может означать невозможность миграции на 12c, а у Oracle Database 11.2 в январе 2015 года заканчивается premier support... Сейчас бывшие разработчики Streams сконцентрированы на XStream. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.04.2013, 21:40 |
|
|
start [/forum/topic.php?fid=52&fpage=46&tid=1881276]: |
0ms |
get settings: |
8ms |
get forum list: |
11ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
47ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
61ms |
get tp. blocked users: |
1ms |
others: | 13ms |
total: | 164ms |
0 / 0 |