powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Oracle [игнор отключен] [закрыт для гостей] / GoldenGate FORMAT LEVEL
25 сообщений из 25, страница 1 из 1
GoldenGate FORMAT LEVEL
    #39718784
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Скачал с oracle.com 123016_ggs_Windows_x64_MSSQL_64bit_CDC и 122022_ggs_Windows_x64_MSSQL_64bit_Delivery

Имею:
WARNING OGG-01194 Oracle GoldenGate Capture for SQL Server, EINI1.prm: EXTRACT task RINI1 abended : File InitialLoad, with compatibility level 6, is not compatible with the current software version's compatibility level of 5. Modify the file writer's parameter file to generate the appropriate format using the FORMAT LEVEL 5 option.

Видимо, проблема из-за разных версий.
Какой файл параметров надо подправить и что прописать?
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39718972
Asic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ora_qu, где ссылка на дистрибутив?
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39718976
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719016
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ora_qu,

OGG-01194 - ошибка Oracle GoldenGate, соответственно, вам в форум по Oracle
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719075
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ora_qu,

А зачем вы разные версии GG взяли?
Вообще, GG позволяет генерировать трейлы более ранней версии. Вот тут детали
https://docs.oracle.com/goldengate/c1230/gg-winux/GWURF/exttrail.htm#GWURF-GUID-21B88798-A04C-4754-930E-7EB55E878A42
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719233
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день, Александр!

Версии GG взял для пробы такие, какие лежат на https://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html.
Опыта работы с GG у меня нет, могу некорректно выражать свои мысли.

Попробовал настроить GG по мотивам https://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/goldengate/11g/GGS_Sect_Config_WIN_MSS_2008_to_WIN_MSS_2008.pdf:
"This lesson demonstrates extracting the data with Extract and sending the data directly to the
Replicat process. This is known as the Direct Load method."
Я так прнимаю, трейл-файлы в этом процессе (Initial Data Load) не участвуют или стоит их добавить?
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719261
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ora_qu,

Берите одну и ту же версию с обеих сторон (12.3). Она умеет и захватывать данные, и доставлять

Модератор: Тема перенесена из форума "Microsoft SQL Server".
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719273
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я рад взять одну версию, где это можно сделать?
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719334
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну вы же скачали 2 дистрибутива. Используйте только один из них. С большей версией
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719363
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я думал, это дистрибутивы для разных задач - CDC и Delivery

123016_ggs_Windows_x64_MSSQL_64bit_CDC
122022_ggs_Windows_x64_MSSQL_64bit_Delivery

Можно использовать только 123016_ggs_Windows_x64_MSSQL_64bit_CDC на обоих серверах?
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719420
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39719504
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо Александр, получилось.
Думаю, скоро появятся новые вопросы :)
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39721541
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вопрос появился.

После настройки Change Capture и запуска Extract процесса
GGSCI> START EXTRACT EMSS1

В логе вижу:

ERROR OGG-10151 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: (EMSS1.prm) line 2: Parsing error, parameter [tranlogoptions] has unrecognized keyword or extra value "MANAGESECONDARYTRUNCATIONPOINT".

Попробовал параметры ACTIVESECONDARYTRUNCATIONPOINT, NOMANAGESECONDARYTRUNCATIONPOINT - та же ошика.
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39721607
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Уберите этот параметр. У вас инструкция по более старой версии
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39722028
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
поставил я параметр
TRANLOGOPTIONS MANAGECDCCLEANUP

В логе вижу:

WARNING OGG-05280 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: Could not retrieve the Oracle GoldenGate clean up job settings for database DB1. Ensure that the Oracle GoldenGate clean up job is enabled on the database.

INFO OGG-05256 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: Current CDC Cleanup Settings - job name: cdc.DB1_cleanup, retention: 4 320, threshold: 5 000.

WARNING OGG-05300 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: The Oracle GoldenGate cleanup job and the SQL Server CDC cleanup job both exist on database DB1. Ensure the SQL Server CDC cleanup job is disabled to allow Oracle GoldenGate to manage CDC cleanup.

В SQL Server Agent\Jobs есть cdc.DB1_cleanup, я его disable, снова запуск Extract процесса - та же ошибка.
Возможно, надо создать Oracle GoldenGate clean up job в GGSCI?
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39726000
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
поставил TRANLOGOPTIONS NOMANAGECDCCLEANUP - работает нормально.
С Oracle GoldenGate clean up job пока не разобрался, может, посоветуете доку где почитать про это?
Версия 12.3.0.1.6
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39726110
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39726354
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо!

С помощью ogg_cdc_cleanup_setup.bat создал Oracle GoldenGate Cleanup job.
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39745394
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Очень медленно работает процесс extract.
Например, на основном сервере делаю в таблицу в цикле insert ста тысяч простых строк по одной. Процесс занимает около минуты, на втором сервере таблица наполняется через 2 минуты с лишнем. На 1 млн. строк соотношение 10 мин. к 23 мин., т.е. похожее.

Параметры в конф. файле extract:
NOTCPSOURCETIMER
TRANLOGOPTIONS MANAGECDCCLEANUP

Ресурсы второго сервера не упираются в диск, сеть, cpu и видно, что trail-файлы пишутся, когда вставка на основном сервере давно закончилась, поэтому, я думаю, медленно работае именно процесс extract.

Пробовал менять параметры capture job, безрезультатно.
Подскажите, пожалуйста, как победить это.
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39746221
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Александр, надежда на Вас!
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39746330
posix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ora_qu,
ora_quв таблицу в цикле insert ста тысяч простых строк по одной. Процесс занимает около минуты, на втором сервере таблица наполняется через 2 минуты с лишнем. На 1 млн. строк соотношение 10 мин. к 23 мин., т.е. похожее.
После каждого insert-а идет commit или это все одна большая транзакция?

Посмотри лаг экстракта на экстракции данных - https://docs.oracle.com/goldengate/c1221/gg-winux/GWURF/lag-extract.htm#GWURF156
И скорость stats e*, reportrate sec

В целом, путь репликации длинен и тернист, online, пока, не предвидится.
Примерная схема:

user's commit -> redo log -> extract -> local trail files -> local pump -> network -> remote trail files -> remote replicat -> sql

На каждом участке может выходить своя потеря времени доставки.

На мой взгляд, большинство проблем проявляются на репликате, чаще всего встречаются:
Отсутствие uniq индексов, PK.
Множество лишних индексов, на обновление которых может уходить до почти все времени.
Множество fk.
Множество мелких транзакций.
Слишком большие транзакции(проблемы с памятью и т.п.).
Однопоточность репликата(один воркер - один запрос изменения).
Блокировки, конкурентность и т.п.

Однотипные, множественные изменения можно пробовать группировать с batchsql.
Однопоточность можно нивелировать через распараллеливание репликата(если ТЗ позволяет).

Начни с поиска lag-а.
Посмотри на чем висит репликат, в бд, что делает, какие вейты.
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39746501
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ora_qu,

Добрый день!

Нужно
1) Смотреть на вашу топологию: используете ли pump?
2) Насколько нагружены диски со стороны Extract?
3) Возможно, что есть тормоза при чтении логов

Не видя систему, достаточно сложно посоветовать что-то конкретное. Если есть возможность, то свяжитесь со мной по почте (в профиле). Тогда можно будет более детально помочь.
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39746586
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо за совет и предложение помощи.

Таблица примитивная - одно поле, commit по одной строке.
lag extract - last record lag 77 seconds.
lag replicat - last record lag 84 seconds.
Не очень понимаю как трактовать данные stats extract/replicat, reportrate sec

Надо отметить, что пробовали транзакционную репликацию MSSQL и все работало без лага.
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39747958
ora_qu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Взял дистрибутив OGG-12.2.0.2, чтобы попробовать классический extract, параметры в конф. файле extract:

TRANLOGOPTIONS MANAGESECONDARYTRUNCATIONPOINT
--TRANLOGOPTIONS ACTIVESECONDARYTRUNCATIONPOINT --bag 12.2.0.2!
NOTCPSOURCETIMER

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 50 seconds.

Стало лучше, проблема встала в процесс replicat, внес в в конф. файле replicat:

BATCHSQL BATCHTRANSOPS 50000 OPSPERBATCH 50000

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 2 seconds.

Проблема решена!
...
Рейтинг: 0 / 0
GoldenGate FORMAT LEVEL
    #39748027
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ora_quВзял дистрибутив OGG-12.2.0.2, чтобы попробовать классический extract, параметры в конф. файле extract:

TRANLOGOPTIONS MANAGESECONDARYTRUNCATIONPOINT
--TRANLOGOPTIONS ACTIVESECONDARYTRUNCATIONPOINT --bag 12.2.0.2!
NOTCPSOURCETIMER

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 50 seconds.

Стало лучше, проблема встала в процесс replicat, внес в в конф. файле replicat:

BATCHSQL BATCHTRANSOPS 50000 OPSPERBATCH 50000

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 2 seconds.

Проблема решена!Спасибо, что отписались. Дело, получается, в работе с CDC.
...
Рейтинг: 0 / 0
25 сообщений из 25, страница 1 из 1
Форумы / Oracle [игнор отключен] [закрыт для гостей] / GoldenGate FORMAT LEVEL
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]