powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Golden Gate настройка
8 сообщений из 8, страница 1 из 1
Golden Gate настройка
    #40057997
dismay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день. Цель: настроить тестовую репликацию Oracle->Oracle, разобраться как это делать.

Установил Oracle EE 19c (WINDOWS.X64_193000_db_home), создал User-а и дал права на создание сущностей.

ORACLE_HOME: путь вот к этой штуке в загрузках: WINDOWS.X64_193000_db_home

1) Установил Oracle GG (Windows) (Oracle GoldenGate 19.1.0)
2) OGG Studio (fmw_12.2.1.4.0_oggstudio.jar)
3) GG Data Integrator (fmw_12.2.1.4.0_odi.jar)
3) RCU (Запускаю из Data Integrator-> bin -> rcu_internal.bat)

Но RCU не видит GG Studio и не создает для него USER для дальнейшего коннекта к репозитарию в GG Studio (Галочки нет в выборе есть только Data Integrator и для него я создавал и подключался тестово)
Скорее всего я их не соединил, но как не совсем понимаю.
Подскажите пожалуйста. Или последовательность действий мб не правильная.
Если написал где-то околесицу сорри, я только начал изучать продукт, мб где логику нарушил.
...
Рейтинг: 0 / 0
Golden Gate настройка
    #40058024
Фотография SeaGate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dismay2) OGG Studio (fmw_12.2.1.4.0_oggstudio.jar)
3) GG Data Integrator (fmw_12.2.1.4.0_odi.jar)
3) RCU (Запускаю из Data Integrator-> bin -> rcu_internal.bat)
Не нужно для достижения озвученной цели.

Со стороны GG требуется:
1) manager; Configuring Manager and Network Communications
2) extract;
3) trail;
4) replicat;

2-4) Configuring Online Change Synchronization

Со стороны БД нужен пользователь для extract и replicat. Может быть один и тот же. Права указаны тут: Granting the Appropriate User Privileges

Пошаговая инструкция, например: Using Oracle GoldenGate with Amazon RDS (RDS вызовы нужно конвертировать).
На Windows может быть своя специфика с сервисами.
...
Рейтинг: 0 / 0
Golden Gate настройка
    #40058238
dismay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
SeaGate,

И ещё один вопрос.

А для настройки CDC(change data capture) какой из окружающей среды gg нужен. Как я понимаю data integrator или Veridata? И если не трудно с какими ещё в взаимодействии.
monitor например как я понимаю не нужен.
...
Рейтинг: 0 / 0
Golden Gate настройка
    #40058361
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dismay

1) Установил Oracle GG (Windows) (Oracle GoldenGate 19.1.0)
2) OGG Studio (fmw_12.2.1.4.0_oggstudio.jar)
3) GG Data Integrator (fmw_12.2.1.4.0_odi.jar)
3) RCU (Запускаю из Data Integrator-> bin -> rcu_internal.bat)


Это всё не нужно

...
Рейтинг: 0 / 0
Golden Gate настройка
    #40060295
dismay
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
По мере разбора.
Отделил различные модули, для репликации они не нужны: Monitor, Studio, Veridata, но в мануале говорится про внутренние модули GoldenGate:
1) Manager
2) Capture(Extract)
3) Trail files
4) Data Pump
5) Delivery (Replicat)

Пытаюсь структурировать:
Как я понимаю они все находятся внутри Golden Gate и условно логически разделены или это прям отдельные модули и их надо качать?
После запуска ggsci запускается Manager и работает в фоне, как я понимаю в нем будет отображаться все что произошло.
Ну и предполагаю, что на Source БД тот GG который я распаковал туда будет работать в режиме модуля Capture(Extract)
А на Target БД тот GG который я туда распаковал работать в режиме Delivery (Replicat)
Такая логика или нет?
...
Рейтинг: 0 / 0
Golden Gate настройка
    #40060468
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
dismay
По мере разбора.
Отделил различные модули, для репликации они не нужны: Monitor, Studio, Veridata, но в мануале говорится про внутренние модули GoldenGate:
1) Manager
2) Capture(Extract)
3) Trail files
4) Data Pump
5) Delivery (Replicat)

Пытаюсь структурировать:

1. Manager занимается управлением процессами GG.
2. К процессам GG относятся Extract, Pump и Replicat.
3. Extract обычно физически работает на сайте-источнике данных. формирует trails - это поток изменений на источнике, оформленный в trail-файлы и через Pump (который тоже классифицируется как Extract) раскидывает эти trails по назначениям.
4. Replicat обычно физически работает на сайте-приемнике. Он читает присланные ему trails и выполняет описанные в них операции.
5. Pump-ов может быть много - зависит от топологии репликации.

Каждый из процессов обладает своим конфигом, позволяющим в совокупности сочинять достаточно замысловатые схемы репликации, фильтрации и даже трансформации данных.
Extract и Replicat специфичны для БД-источника и приёмника данных соответственно.
Oracle-специфичные могут работать в различных режимах (к примеру Replicat может быть integrated (поддержан непосредственно ядром oracle), coordinated (внешний клиент, но с параллельным исполнением запросов) и classic (обычное приложение-клиент oracle)).
Extract среди различных режимов взаимодействия с БД-источником может быть сконфигурирован в режиме ALO (Archive Log mode Only), вообще не требующем подключения к БД-источнику.
Каждый из режимов имеет собственные преимущества и ограничения, в т.ч. на реплицируемые типы данных.
...
Рейтинг: 0 / 0
Golden Gate настройка
    #40060509
Фотография SeaGate
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
andrey_anonymous,

andrey_anonymousExtract среди различных режимов взаимодействия с БД-источником может быть сконфигурирован в режиме ALO (Archive Log mode Only), вообще не требующем подключения к БД-источнику.
Я бы добавил downstream, т.к. там можно использовать integrated extract. ALO не поддерживает integrated: https://docs.oracle.com/en/middleware/goldengate/core/19.1/oracle-db/configuring-classic-capture-archived-log-only-mode.html
А также parallel replicat, который, как правило, оказывается самым быстрым: https://docs.oracle.com/en/middleware/goldengate/core/19.1/admin/configuring-online-change-synchronization.html#GUID-585D553E-6DFC-41C0-A50D-93229AFECEDD

В целом, моя рекомендуемая конфигурация OGG, это всегда hub. hub в кластере (XAG) или primary/standby. Если hub нельзя по каким-то причинам, то ставить extract/replicat на сервера с целевыми БД.

Основная причина, по которой я ставлю их с целевыми, это производительность . Это особенно критично в bi-directional(BDR) и multi-master конфигурациях, где нужно минимизировать задержки.
Вторая причина, это сеть, если приемник/источник распределены. Pump имеет больше сетевых опций и справляется с различными network glitch гораздо лучше.
Ну и для hub pump не нужен, что тоже избавляет от некоторых проблем, например, не требуется наличие VIP на той стороне, куда передает pump. on-premise это не проблема, но вот в облаках с VIP есть некоторые сложности.

Основная причина, по которой я НЕ ставлю их с целевыми, это производительность . Memory, CPU, I/O, network. Сейчас стало все больше OGG для BigData для репликации во всякие Kafka, что также приводит к новым проблемам.

Из интересных нововведений в последних версиях, это в первую очередь: Cross Endian Support for Remote Integrated Extract . К сожалению, не все еще на Linux, что встречаются и AIX, и Solaris SPARC. Ранее для таких конфигураций приходилось ставить GoldenGate того же endian format. Сейчас это не требуется.

Из новых проектов, все больше проектов по миграции с Oracle на PostgreSQL (импортозамещение). Там есть определенные проблемы с типами данных, что ожидаемо.
...
Рейтинг: 0 / 0
Golden Gate настройка
    #40060515
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SeaGate
ALO не поддерживает integrated

Ну как бы на то он и ALO :)
Что до вопросов производительности - тут не то чтобы тривиально.
Давно не работал с GG, но до 12 версии хорошо нагруженный integrated replicat, к примеру, в одну калитку проигрывал правильно настроенному coordinated, поскольку имел затык - парсил трейлы единственным потоком на одном ядре. Возможно, на микросервисном что-то изменилось, но я уже не застал.
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Golden Gate настройка
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]