Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Oracle [игнор отключен] [закрыт для гостей] / GoldenGate FORMAT LEVEL / 25 сообщений из 25, страница 1 из 1
17.10.2018, 13:59
    #39718784
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Скачал с oracle.com 123016_ggs_Windows_x64_MSSQL_64bit_CDC и 122022_ggs_Windows_x64_MSSQL_64bit_Delivery

Имею:
WARNING OGG-01194 Oracle GoldenGate Capture for SQL Server, EINI1.prm: EXTRACT task RINI1 abended : File InitialLoad, with compatibility level 6, is not compatible with the current software version's compatibility level of 5. Modify the file writer's parameter file to generate the appropriate format using the FORMAT LEVEL 5 option.

Видимо, проблема из-за разных версий.
Какой файл параметров надо подправить и что прописать?
...
Рейтинг: 0 / 0
17.10.2018, 16:45
    #39718972
Asic
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
ora_qu, где ссылка на дистрибутив?
...
Рейтинг: 0 / 0
17.10.2018, 16:51
    #39718976
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
...
Рейтинг: 0 / 0
17.10.2018, 17:43
    #39719016
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
ora_qu,

OGG-01194 - ошибка Oracle GoldenGate, соответственно, вам в форум по Oracle
...
Рейтинг: 0 / 0
17.10.2018, 19:36
    #39719075
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
ora_qu,

А зачем вы разные версии GG взяли?
Вообще, GG позволяет генерировать трейлы более ранней версии. Вот тут детали
https://docs.oracle.com/goldengate/c1230/gg-winux/GWURF/exttrail.htm#GWURF-GUID-21B88798-A04C-4754-930E-7EB55E878A42
...
Рейтинг: 0 / 0
18.10.2018, 10:12
    #39719233
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Добрый день, Александр!

Версии GG взял для пробы такие, какие лежат на https://www.oracle.com/technetwork/middleware/goldengate/downloads/index.html.
Опыта работы с GG у меня нет, могу некорректно выражать свои мысли.

Попробовал настроить GG по мотивам https://www.oracle.com/webfolder/technetwork/tutorials/obe/fmw/goldengate/11g/GGS_Sect_Config_WIN_MSS_2008_to_WIN_MSS_2008.pdf:
"This lesson demonstrates extracting the data with Extract and sending the data directly to the
Replicat process. This is known as the Direct Load method."
Я так прнимаю, трейл-файлы в этом процессе (Initial Data Load) не участвуют или стоит их добавить?
...
Рейтинг: 0 / 0
18.10.2018, 10:52
    #39719261
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
ora_qu,

Берите одну и ту же версию с обеих сторон (12.3). Она умеет и захватывать данные, и доставлять

Модератор: Тема перенесена из форума "Microsoft SQL Server".
...
Рейтинг: 0 / 0
18.10.2018, 11:21
    #39719273
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Я рад взять одну версию, где это можно сделать?
...
Рейтинг: 0 / 0
18.10.2018, 13:09
    #39719334
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Ну вы же скачали 2 дистрибутива. Используйте только один из них. С большей версией
...
Рейтинг: 0 / 0
18.10.2018, 13:42
    #39719363
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Я думал, это дистрибутивы для разных задач - CDC и Delivery

123016_ggs_Windows_x64_MSSQL_64bit_CDC
122022_ggs_Windows_x64_MSSQL_64bit_Delivery

Можно использовать только 123016_ggs_Windows_x64_MSSQL_64bit_CDC на обоих серверах?
...
Рейтинг: 0 / 0
18.10.2018, 15:11
    #39719420
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Да
...
Рейтинг: 0 / 0
18.10.2018, 16:59
    #39719504
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Спасибо Александр, получилось.
Думаю, скоро появятся новые вопросы :)
...
Рейтинг: 0 / 0
23.10.2018, 16:33
    #39721541
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Вопрос появился.

После настройки Change Capture и запуска Extract процесса
GGSCI> START EXTRACT EMSS1

В логе вижу:

ERROR OGG-10151 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: (EMSS1.prm) line 2: Parsing error, parameter [tranlogoptions] has unrecognized keyword or extra value "MANAGESECONDARYTRUNCATIONPOINT".

Попробовал параметры ACTIVESECONDARYTRUNCATIONPOINT, NOMANAGESECONDARYTRUNCATIONPOINT - та же ошика.
...
Рейтинг: 0 / 0
23.10.2018, 18:09
    #39721607
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Уберите этот параметр. У вас инструкция по более старой версии
...
Рейтинг: 0 / 0
24.10.2018, 12:45
    #39722028
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
поставил я параметр
TRANLOGOPTIONS MANAGECDCCLEANUP

В логе вижу:

WARNING OGG-05280 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: Could not retrieve the Oracle GoldenGate clean up job settings for database DB1. Ensure that the Oracle GoldenGate clean up job is enabled on the database.

INFO OGG-05256 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: Current CDC Cleanup Settings - job name: cdc.DB1_cleanup, retention: 4 320, threshold: 5 000.

WARNING OGG-05300 Oracle GoldenGate Capture for SQL Server, EMSS1.prm: The Oracle GoldenGate cleanup job and the SQL Server CDC cleanup job both exist on database DB1. Ensure the SQL Server CDC cleanup job is disabled to allow Oracle GoldenGate to manage CDC cleanup.

В SQL Server Agent\Jobs есть cdc.DB1_cleanup, я его disable, снова запуск Extract процесса - та же ошибка.
Возможно, надо создать Oracle GoldenGate clean up job в GGSCI?
...
Рейтинг: 0 / 0
31.10.2018, 16:52
    #39726000
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
поставил TRANLOGOPTIONS NOMANAGECDCCLEANUP - работает нормально.
С Oracle GoldenGate clean up job пока не разобрался, может, посоветуете доку где почитать про это?
Версия 12.3.0.1.6
...
Рейтинг: 0 / 0
31.10.2018, 18:42
    #39726110
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
...
Рейтинг: 0 / 0
01.11.2018, 10:29
    #39726354
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Спасибо!

С помощью ogg_cdc_cleanup_setup.bat создал Oracle GoldenGate Cleanup job.
...
Рейтинг: 0 / 0
10.12.2018, 14:59
    #39745394
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Очень медленно работает процесс extract.
Например, на основном сервере делаю в таблицу в цикле insert ста тысяч простых строк по одной. Процесс занимает около минуты, на втором сервере таблица наполняется через 2 минуты с лишнем. На 1 млн. строк соотношение 10 мин. к 23 мин., т.е. похожее.

Параметры в конф. файле extract:
NOTCPSOURCETIMER
TRANLOGOPTIONS MANAGECDCCLEANUP

Ресурсы второго сервера не упираются в диск, сеть, cpu и видно, что trail-файлы пишутся, когда вставка на основном сервере давно закончилась, поэтому, я думаю, медленно работае именно процесс extract.

Пробовал менять параметры capture job, безрезультатно.
Подскажите, пожалуйста, как победить это.
...
Рейтинг: 0 / 0
11.12.2018, 17:50
    #39746221
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Александр, надежда на Вас!
...
Рейтинг: 0 / 0
11.12.2018, 23:24
    #39746330
posix
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
ora_qu,
ora_quв таблицу в цикле insert ста тысяч простых строк по одной. Процесс занимает около минуты, на втором сервере таблица наполняется через 2 минуты с лишнем. На 1 млн. строк соотношение 10 мин. к 23 мин., т.е. похожее.
После каждого insert-а идет commit или это все одна большая транзакция?

Посмотри лаг экстракта на экстракции данных - https://docs.oracle.com/goldengate/c1221/gg-winux/GWURF/lag-extract.htm#GWURF156
И скорость stats e*, reportrate sec

В целом, путь репликации длинен и тернист, online, пока, не предвидится.
Примерная схема:

user's commit -> redo log -> extract -> local trail files -> local pump -> network -> remote trail files -> remote replicat -> sql

На каждом участке может выходить своя потеря времени доставки.

На мой взгляд, большинство проблем проявляются на репликате, чаще всего встречаются:
Отсутствие uniq индексов, PK.
Множество лишних индексов, на обновление которых может уходить до почти все времени.
Множество fk.
Множество мелких транзакций.
Слишком большие транзакции(проблемы с памятью и т.п.).
Однопоточность репликата(один воркер - один запрос изменения).
Блокировки, конкурентность и т.п.

Однотипные, множественные изменения можно пробовать группировать с batchsql.
Однопоточность можно нивелировать через распараллеливание репликата(если ТЗ позволяет).

Начни с поиска lag-а.
Посмотри на чем висит репликат, в бд, что делает, какие вейты.
...
Рейтинг: 0 / 0
12.12.2018, 10:47
    #39746501
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
ora_qu,

Добрый день!

Нужно
1) Смотреть на вашу топологию: используете ли pump?
2) Насколько нагружены диски со стороны Extract?
3) Возможно, что есть тормоза при чтении логов

Не видя систему, достаточно сложно посоветовать что-то конкретное. Если есть возможность, то свяжитесь со мной по почте (в профиле). Тогда можно будет более детально помочь.
...
Рейтинг: 0 / 0
12.12.2018, 12:29
    #39746586
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Спасибо за совет и предложение помощи.

Таблица примитивная - одно поле, commit по одной строке.
lag extract - last record lag 77 seconds.
lag replicat - last record lag 84 seconds.
Не очень понимаю как трактовать данные stats extract/replicat, reportrate sec

Надо отметить, что пробовали транзакционную репликацию MSSQL и все работало без лага.
...
Рейтинг: 0 / 0
14.12.2018, 14:59
    #39747958
ora_qu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
Взял дистрибутив OGG-12.2.0.2, чтобы попробовать классический extract, параметры в конф. файле extract:

TRANLOGOPTIONS MANAGESECONDARYTRUNCATIONPOINT
--TRANLOGOPTIONS ACTIVESECONDARYTRUNCATIONPOINT --bag 12.2.0.2!
NOTCPSOURCETIMER

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 50 seconds.

Стало лучше, проблема встала в процесс replicat, внес в в конф. файле replicat:

BATCHSQL BATCHTRANSOPS 50000 OPSPERBATCH 50000

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 2 seconds.

Проблема решена!
...
Рейтинг: 0 / 0
14.12.2018, 16:37
    #39748027
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GoldenGate FORMAT LEVEL
ora_quВзял дистрибутив OGG-12.2.0.2, чтобы попробовать классический extract, параметры в конф. файле extract:

TRANLOGOPTIONS MANAGESECONDARYTRUNCATIONPOINT
--TRANLOGOPTIONS ACTIVESECONDARYTRUNCATIONPOINT --bag 12.2.0.2!
NOTCPSOURCETIMER

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 50 seconds.

Стало лучше, проблема встала в процесс replicat, внес в в конф. файле replicat:

BATCHSQL BATCHTRANSOPS 50000 OPSPERBATCH 50000

В итоге:
lag extract - last record lag 1 seconds.
lag replicat - last record lag 2 seconds.

Проблема решена!Спасибо, что отписались. Дело, получается, в работе с CDC.
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / GoldenGate FORMAT LEVEL / 25 сообщений из 25, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]