1. Обычно ETL-средства не умеют сами захватывать изменения из журналов. Например, ODI умеет создавать триггеры для захвата изменений, использовать GoldenGate и т.д. (нужно смотреть, какие там еще есть JKM)

2. Не все так просто. С СУБД Oracle GoldenGate может работать в двух режимах - classic и integrated. В classic он сам читает журналы, в integrated использует XStream. Integrated режим в последнее время становится предпочтительнее, потому что в разы быстрее (у меня был пример захвата 500 Гб редо/час), а также потому что поддерживает большее типов данных и фич СУБД (захват XMLTYPE, SECUREFILES, LOB partial changes, зашифрованных данных и т.д.).
С MSSQL захват осуществляется не из CDC таблиц, а напрямую из процессов MSSQL CDC. Поскольку CDC таблицы на источнике не пишутся, поэтому нагрузка на источник минимальна.
DB2 не знаю - не скажу. Захват из PgSQL с помощью GoldenGate не поддерживается - можно использовать один из альтернативных JKM ODI. Например, тот же триггерный захват.

3. Oracle CDC - это технология, основанная на Streams со всеми вытекающими. Помимо этого Oracle CDC уже deprecated .
http://docs.oracle.com/cd/E11882_01/server.112/e25554/cdc.htm Oracle Change Data Capture will be de-supported in a future release of Oracle Database and will be replaced with Oracle GoldenGate. Therefore, Oracle strongly recommends that you use Oracle GoldenGate for new applications.
For Oracle Database 11g Release 2 (11.2), Change Data Capture continues to function as in earlier releases. If you are currently using Change Data Capture, then you will be able to continue to do so for the foreseeable future. However, Change Data Capture will not be further enhanced, and will only be supported based on the current, documented functionality.

ApexCDC из Redo или через OGG1. В ETL средствах Informatica
Новая версия Informatica умеет читать непосредственно redo log Оракла. Предыдущая использует LogMiner. Ограничений по типам данных довольно много, ну и опция платная конечно же.Неверно. Informatica, также как и Oracle, использует для сбора изменений купленный продукт.
Вот только они купили компанию из в второго эшелона, а Oracle купил лидера рынка.

CDC из Redo или через OGG XStream это аналог Streams, тоже встроенный в СУБД, и для захвата Oracle->Oracle можно обойтись пока без OGG?
А OGG необходим только для выгрузки Oracle->другие СУБД?Нет. XStream это не аналог Streams. Это больше похоже на MS CDC. XStream позволяет написать собственное приложение, которое подключится к СУБД и подпишется на получение изменений. Т.е. XStream это скорее API для разработчиков.
Ну и до кучи XStream входит в лицензию GoldenGate. Это написано вот здесь .

CDC из Redo или через OGGМнения разошлись :) Я вот тоже пытаюсь понять, действительно Informatica напрямую может работать с redo или это маркетинговая лапша.Это именно она :)

Если будете выбирать, то закажите небольшой PoC на своих данных.

неугомонный оптимизаторAlexander Ryndinпропущено...
Это именно она :)Что за бред. Informatica версиях отлично умеет напрямую работать с redo, и, более того скорость забора cdc примерно такая же, как и у GG (раньше было не так). То, что для этого она использует купленный продукт, мало кого интересует. Это уже давно часть InformaticaПримерно такая же - это 500 Гб редо/час? :) Ну-ну. Да и с типами данных там будут однозначные проблемы.
Если будете выбирать продукт, то спрашивайте референсы и просите POC на ваших данных

неугомонный оптимизаторAlexander Ryndin500 Гб редо/час?что бы забрать 500Гб редо/в час, сначала нужно нагенерить 500Гб редо/в час :)) Но при тех же аппаратных условиях, результаты будут не сильно отличаться. Или GG телепортирует мимо дисковой подсистемы и использует квантовый алгоритм разбора логов?
З.Ы. но сравнивать GG и Informatica нет смысла - продукты разного класса и предназначения.:) Какой вы идеалист. Вон Ладу Калина тоже из железа делают, как и Феррари. А автомобили все-таки разные получаются.
Я и не сравниваю GG и Informatica. Informatica должна сравниваться с ODI, а бывший Wizdomforce с GoldenGate.

Если источником является Oracle, то вопросы будут следующие:
1) Захват сжатых данных (OLTP, HCC компрессия)?
2) Распараллеливание захвата изменений?
3) Прозрачность работы с RAC?
4) Поддержкая шифрованных данных?
5) Захват частично измененных LOB (когда меняется кусочек LOB и в журнал попадает только это измененный кусочек)?
6) Захват сжатых SECUREFILE LOB?
7) Режим downstream (это когда изменения передают на удаленную систему с помощью потока REDO, а там парсятся)?
8) Захват direct-операций (sqlldr с direct, INSERT + хинт APPEND)?
9) Ссылки на внедрения?

Ответите на вопросики? :)

неугомонный оптимизаторAlexander Ryndin,

Бессмысленный разговор. Надо идти от задачи. Скажу лишь, что пп 1-8 зачастую не нужны, зато нужен полноценный масштабируемый ETL, а cdc - всего лишь малая часть задачи. А про ссылки на внедрения Informatica, это, надеюсь, шутка)Конечно, ETL - это большая задача, но и сама CDC по журналам - это весьма технологический продукт. И он имеет ряд применений - не обязательно в рамках ETL. Многим нужен обычный отчетный сервер, кто-то просто синхронизирует данные между платформами, кому-то нужен инструмент для безостановочного переезда между система и т.д.
По поводу референсов вы меня прекрасно поняли - зачем косить по дурака? Вопрос именно про внедрение именно PWX CDC Express.

Насчет PoC окА если использовать Informatica, то можно для неё использовать GlodenGate, какие это дает преимущества и как это будет выглядеть?Да, конечно, это возможно. Но если Вы используете GoldenGate, то он обычно приносит измененные данные в СУБД. Конечно, GoldenGate может вытаскивать данные в плоские файлы или XML, но так делают довольно редко.
Учитывая вышесказанное, трансформацию быстрее всего делать внутри СУБД с помощью CTAS (create table as select), т.е. в режиме pushdown Informatica, либо с помощью ODI (у которого этот режим, по сути, основной, если не единственный).
Ну и в Informatica Вам придется вручную настраивать все процессы, а в ODI есть готовые модули для GoldenGate, которые задействуются обычным мышкотасканием.

преобразования внутри транзакциоА разве преобразования внутри транзакционной СУБД Oracle будут быстрее, чем внутри Informatica (в её внутренней нетранзакционной СУБД)?По крайней мере вице-президент Informatica считает так .
Правда, она в конце говорит - ну да, скорость растет, но не всегда... Это тоже понятно почему - Informatica изначально построена как ETL, а не как ELT.

вместе с CDC умрёт ли StreamsА что за вытекающие и вместе с CDC умрёт ли Streams или фактически это одно и тоже?У Streams есть ряд недостатков по сравнению с тем же GoldenGate, хотя есть и преимущества (которые перетащат в GoldenGate).
Streams заявлен как deprecated еще в ноябре 2009 года.

С другой стороны это не значит, что Streams и CDC умрут, но их не будут дорабатывать. По приведенной Вами ссылке в комментариях все правильно сказано. Вроде как это не так и страшно, но учитывая, например, появление в следующей версии multitenancy , это может означать практическую невозможность использования Streams. Т.е. наличие репликации на Streams может означать невозможность миграции на 12c, а у Oracle Database 11.2 в январе 2015 года заканчивается premier support...

Сейчас бывшие разработчики Streams сконцентрированы на XStream.

ApexAlexander RyndinПо крайней мере вице-президент Informatica считает так .
Правда, она в конце говорит - ну да, скорость растет, но не всегда... Это тоже понятно почему - Informatica изначально построена как ETL, а не как ELT.
Она говорит, что не для всех случаев ELT является оптимальным решением, понятливый ты наш...А я не так сказал, язвительный ты наш? :)

каким образомAlexander Ryndin С СУБД Oracle GoldenGate может работать в двух режимах - classic и integrated. В classic он сам читает журналы
А каким образом он сам читает журналы в режиме classic, какие плюсы и в нем возможна синхронная репликация?Синхронная репликация возможна только в Oracle Data Guard. Все механизмы классической репликации асинхронны.
Режим classic существовал до покупки компании GoldenGate. Разрабатывался на основе реверсинжиниринга журналов СУБД. Wizdomforce идет по этому пути и сейчас.
Плюсами classic является более простая настройка, большая неприхотливость (например, Integrated не работает на 9i).

неугомонный оптимизаторAlexander RyndinРазрабатывался на основе реверсинжиниринга журналов СУБД. Wizdomforce идет по этому пути и сейчасбредРасскажите, откуда у Informatica доступ к структуре журнала СУБД Oracle.
Про GoldenGate, например, могу сказать, что до покупки их Oracle они не умели захватывать DML-операции, выполняемые в режиме direct (sqlldr direct=true, INSERT /*+ APPEND */...). Теперь умеют. Либо им открылось дао, либо доступ к внутренней документации. :)

force loggingAlexander Ryndinпропущено...
Расскажите, откуда у Informatica доступ к структуре журнала СУБД Oracle.
Про GoldenGate, например, могу сказать, что до покупки их Oracle они не умели захватывать DML-операции, выполняемые в режиме direct (sqlldr direct=true, INSERT /*+ APPEND */...). Теперь умеют. Либо им открылось дао, либо доступ к внутренней документации. :)
А сейчас, при использовании GoldenGate, для этого обязателен режим force logging для принудительной записи транзакций в redo logs на Oracle-источнике?Direct insert не обязательно является nologging. Вот рекомендую статейку .

nologging+APPENDAlexander Ryndinпропущено...
Direct insert не обязательно является nologging. Вот рекомендую статейку .
Да, коротко и ясно.
Допустим в Oracle Data Guard StandBy для решения проблемы вставок с nologging+APPEND обязательным условием является использование ARCHIVELOG+force logging. Подобное правило применимо и для GoldenGate(Classic/Integrated)?Да, конечно. Чудес не бывает. Если в архивных журналах данных нет, то и GoldenGate их не сможет захватить.
Но непопадание данных в журнал обусловлено не direct-вставкой, а комбинацией direct+nologging

неугомонный оптимизаторAlexander RyndinРасскажитеоткройте для себя слова "кросслицензирование", "соглашение о сотрудничестве" и прочие корпоративные вещи. А "реверсинжиниринг", о котором вы говорите, прямо запрещен в лицензионном соглашении Oracle, и компании данного уровня такими вещами не занимаются. Может быть для вас будет новостью, что ряд продуктов Oracle использует Informatica, и ораклу просто-напросто невыгодно рубить сук, на котором сидит и гребет денежки лопатой)1) А кто Вам в Informatica об этом поведал? Или это тайна, покрытая мраком?
Если не можете говорить об этом на форуме, то с радостью услышу это по электронной почте.

2) По крайней мере, в Oracle никто не слышал про "кросслицензирование, соглашение о сотрудничестве и прочие корпоративные вещи"
в отношении формата RedoLog Oracle.

3) По поводу того "что ряд продуктов Oracle использует Informatica". Я знаю только один продукт. Расскажите про остальные, но лучше в почте, либо в отдельной теме - давайте не будем офтопить

неугомонный оптимизаторговорить о надежностиНу и какдля тех кто в танке:

http://www.oracle.com/us/corporate/pricing/olsa-uk-v111003-070670.pdf

You may not :
- cause or permit reverse engineering (unless required by
law for inoperability), disassembly or decompilation of
the programs;Какое отношение имеет reverse engineering of the programs к reverse engineeringe структурs журналов СУБД?
Насколько я понимаю, у Вас нет ответов на вопросы, заданные мной вот здесь 14154414

неугомонный оптимизаторAlexander Ryndinу Вас нет ответов на вопросы 14154414 это оффтоп, но если интересно, рассказал один из топов российского дистрибутора по информатике, а продукты - перечислял как минимум 3, но разве упомнишь? их теперь у оракла много..) прямых доказательст у меня нет.Т.е. это сказала третья компания о том, о чем слышал, но не знает. За свои слова эта компания отвечать вряд ли будет.

Т.е. сведения об открытии формата журналов СУБД Oracle для Informatica не подтверждается, а значит Wizdomforce (Powecenter CDC Express), а теперь Informatica занимаются реверсинжинирингом журналов СУБД

минимальный порядок задержкиИ для полноты картины, какой примерно минимальный порядок задержки репликации (отставания от источника) в секундах возможен для:
1. Oracle GoldenGate Integrated(XStream)
2. Oracle Streams(CDC)
3. Oracle LogMiner
4. Informatica/Wizdomforce (Powecenter CDC Express)1. В пределах секунды
2. В пределах секунды
3. Это не репликация

офигенная логикаAlexander Ryndinпропущено...
Т.е. это сказала третья компания о том, о чем слышал, но не знает. За свои слова эта компания отвечать вряд ли будет.

Т.е. сведения об открытии формата журналов СУБД Oracle для Informatica не подтверждается, а значит Wizdomforce (Powecenter CDC Express), а теперь Informatica занимаются реверсинжинирингом журналов СУБД
вы не можете доказать свое утверждение, а я не могу его опровергнуть, поэтому я прав.
ты логику в школе учил или на тренингах корпорации оракакел?А в чем моя логика неверна? Я не видел договора, вы тоже этот договор не видели, а в слова я не верю.

Давай последуем Вашей логике:

1) Вы говорите у Informatica есть договор на доступ к формату Redo Oracle, но сослаться на конкретный документ не можете (даже назвать номер и дату договора). Тем не менее все равно верите и предлагаете нам верить в слова "одного из топов, работающего в дистрибуторе и не работающего в Informatica".

2) Я могу привести Вам одного из топов ФОРС, который скажет, что Вы должны мне 1 млн$ (естественно, ни номера договора, ни самого договора на руках у меня нет). Вы в это тоже поверите на словах?

Если Вы не готовы платить 1 млн$, то и в 1) должны признать, что доказательство наличия договора лежит на вас.

офигенная логика,

Я готов буду поверить в Ваше утверждение о наличии указанного договора, но мне хотя бы нужен его номер и дата.
Вроде не так много нужно.

DВАмоя женская логика и то курит в сторонке ))У вас таки есть договор с Oracle на открытие формата блока данных? :)