powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Восстановление базы на другом сервере
34 сообщений из 34, показаны все 2 страниц
Восстановление базы на другом сервере
    #37636851
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
День добрый.

В связи с переездом на новую систему хранения, решил сделать online backup и восстановить его на новом железе, выполнил redirect restore, предварительно отредактировав скрипт, с учетом нового количества разделов. Но операция rollforward идет с такой скорость, что накатить все архивные журналы (продуктив их много генерит) к определенному дню не успеет. Продуктивную базу остановить на такой срок не реально.

Если пойти другим путем, после online backup , выполнить incremental backup, incremental delta backup и восстанавливать их до дня переезда на новое железо. На заключительном этапе докатить базу до актуального состояния через rollforward.

Возник вопрос , при восстановление online backup использовался redirect script ( db2 –tvf <restore_script>), пройдет ли восстановить инкрементального и дельта backup в таком случае ?

db2 сильный новичек, очень нужен Ваш совет !
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37636984
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что, продуктив генерирует архивные логи быстрее, чем вы успеваете накатывать? Это не к добру. Тогда как же ваша база будет работать на новом месте? Производительность должна упасть.

Если, как я надеюсь, имеет место обратное, вы можете восстановить сейчас, а потом догонять логами - по мере генерации постоянно подкладывать и накатывать новые логи (в цикле пускать rollforward db XXX to end of logs), а когда настанет пора переключаться, rollforward db XXX to end of logs and complete. (Так реализуется простейшая версия стендбая).

Чтобы последние транзакции со старого места не пропали, перед остановом и переключением на вcякий случай принудительно рветё на старом месте все соединения, убеждаетесь, что их действительно в списке нет (что нет какого-нибудь длительного rollback'а какой-то забытой незакоммиченной транзакции, иначе придётся подождать) и выполняете ARCHIVE LOG FOR DATABASE имябазы (и снова ждёте некоторое время - команда отрабатывает быстро, но это не означает, что архивация логов совершилась так же быстро).

(Обязательно потренируйтесь на чём-нибудь поменьше).
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37637868
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо за ответ

Victor Metelitsa
Что, продуктив генерирует архивные логи быстрее, чем вы успеваете накатывать?



Это как раз и происходит. Выяснил, когда циклически выполнял rollforward. Поэтому решил применить для накатки инкрементальные бэкапы. Насколько я понимаю, их восстановление будет идти быстрее, чем операция rollforward.

Но Ваша мысль , по поводу падения производительности, мне уже тоже не нравится.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37637927
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Larry E.,

А rollforward к логам случайно не по сети лезет?

Второй момент, если логи скопированны и доступ к ним идёт локально, логи/табличные пространства живут на разных дисках (на старом железе, на новом)?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37637967
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
CawaSPb,

Архивные логи по сети копируются со старого сервера на новый в отдельный раздел.
С точки зрения файловых систем архивные журналы и табличные пространста находятся на разных дисках. Нагрузки на систему нет. Использовал sar, nmon. (OS AIX 6.1).
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37638038
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Если все таки использовать для восстановления инкрементальные бэкапы, мне нужно для них создавать редирект скрипты ?

Или достаточно:

db2 restore db <name> incremental automatic taken at <time stamp>
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37638092
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Larry E.,

Здравствуйте.

Redirected Restore sessions - CLP examples , Example 2.
Т.е. вы делаете полный <ts1>, инкрементальный <ts2>.
Убедитесь предварительно в том, что параметр trackmod базы выставлен в yes.

Потом:
- в первой команде restore
restore ... incremental ... redirect
для инкрементального архива (<ts2>)
- перенапраляете контейнеры:
set tablespace containers ...
- restore ... continue
- restore (без redirect) для полного
- restore для того же инкрементального (но уже без redirect)

Но: если ваша новая система даже не может успевать накатывать журналы от продуктивной, то боюсь, что у вас серьёзные проблемы.
Может быть, вы и сократите время rollforward, но всё равно со времени окончания инкрементального архива на продуктиве пройдёт много времени.
А новая машина даже не успевает накатывать журналы, которых всё равно накопится, видимо, достаточно много...
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37638194
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Larry E.,

Т.е. физически это диск один? Нагрузки нет - это на CPU или на диски или на всё сразу?

Кстати говоря, вот такой интересный redbook есть (не знаю, приходилось ли на него натыкаться) - http://www.redbooks.ibm.com/abstracts/sg247821.html
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37638326
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Производительность, быть может, и не упадёт. Надо обладать знанием и пониманием реальных процессов при работе и восстановлении, использумого оборудования, а также проводить тесты. В частности, я не в курсе, используется ли при восстановлении буферный пул, а также не помню, какого размера блоками восстанавливается (но, скорее всего, мелкими - по размеру страницы табличного пространства).

Рассмотрю сферическую продукционную систему в вакууме. 2*N дисков выделено под данные, 2 диска под текущие логи и 2 под архивные. Т.е. 10й-массив и два зеркала. Диски для "текущих" и архивных, в основном, используются под последовательный доступ, потому скорость записи и чтения довольно высока. К данным же, возможно, идёт случайный доступ, весьма медленный, но благодаря буферному пулу грязным страницам нет нужды сбрасываться немедленно, а запись (конечно, нужно иметь ввиду ещё кое-какие настройки) идёт впараллель, то есть одновременно на несколько дисков, и при достаточно большом N скорость сопоставима со скоростью последовательной записи или чтения на одиночный диск.

При восстановлении же, если нет кеширования в буферном пуле и параллельной записи, (предполагаю, что) изменения будут применяться последовательно, картина будет удручающей, и величина N просто не имеет значения - восстановление будет идти сопоставимо со скоростью случайной записи на одиночный диск.

(Ну, конечно, кеш на запись на рейдконтроллере может резко поменять картину).

Я не помню, чтобы о таком было где-то написано. Надо экспериментировать.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37638683
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Большое спасибо, познавательно.

Буду идти предложеным Вами путем. Посмотрим как быстро пройдет процесс воостановления. На данный момент восстанавливается полный online бэкап на новом железе, но как я уже понял из предложенного плана - зря :(. Восстановление едет при этом быстро :)

Ночь зделаю инкрементальный бэкап.

Отпишусь о полученных результатах.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37650151
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.

Поигрались с восстановлением бэкапов, но как уже предупреждали, если накатка логов идет медленно, то шанс догнать продуктивную базу, мал :(

На сервере, где идет rollforward меньше памяти, конфигурация db2 была скопирована с продуктива. Возможно требуется ручная настройка памяти.

Встретил посты, где народ описывал, медленную накатку логов, например:

http://www.dbforums.com/db2/1643721-sql1218n-there-no-pages-currently-available-bufferpool-sqlstate-57011-a.html

Насколько я понял, должен подобрать правильное значение DB2_OVERRIDE_BPF. Подскажите как грамотно выставить это значение ?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37650195
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Larry E.,

Добрый день.

Код: sql
1.
2.
3.
4.
5.
db2set DB2_OVERRIDE_BPF=5000
db2stop 
db2start

db2 rollforward ...

5000 - каждый буферный пул будет иметь значение в 5000 страниц.
Вы можете выбрать другое значение, исходя из кол-ва буферов у вас и размера страницы каждого, но этого должно хватить.
А что, у вас в db2diag.log есть сообщения о том, что нет места в буферном пуле?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37650254
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

Ошибок нет. Просто сослался не на ту ссылку.
Вот правильная http://forums.sdn.sap.com/thread.jspa?messageID=4838717#4838717

Марк, спасибо !
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37650383
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Larry E.
Вот правильная http://forums.sdn.sap.com/thread.jspa?messageID=4838717#4838717

Кстати, если вдруг у вас SAP , то может быть еще не поздно записаться на мероприятие
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37650431
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mitek,


SAP. Такие курсы будут в самы раз. Обсудим с руководством. Цена таких мероприятий , ориентировочно сколько ?

Спасибо.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37650458
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Larry E.mitek,
SAP. Такие курсы будут в самы раз. Обсудим с руководством. Цена таких мероприятий , ориентировочно сколько ?

Да в том и цимес, что бесплатное :)
C 14-го по 17-ое будет проходить.
Так что лучше зарегаться прямо сейчас (там еще подтверждение несколько дней занимает).
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37652183
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Привет всем.

Время накатки логов сократить не удалось. 1 архивный файл - 400 Мб , применяется 10-15 минут :( Изучали нагрузку на дисковую подсистему, CPU и тд. Проблем со стороны железа не обнаружили .

В каком направлении еще покопать ?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37653107
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Larry E.Время накатки логов сократить не удалось. 1 архивный файл - 400 Мб , применяется 10-15 минут :( Изучали нагрузку на дисковую подсистему, CPU и тд. Проблем со стороны железа не обнаружили .

В каком направлении еще покопать ?Сколько ядер в новой системе?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37653735
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein,

4 ядра (POWER5)
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37654083
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Larry E.,

Что пишет в db2diag.log вместо N в фразе:
Код: plaintext
Using parallel recovery with N agents ...

Файловые системы не монируете с dio/cio ?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37654173
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark Barinstein

Что пишет в db2diag.log вместо N в фразе:
Код: plaintext
Using parallel recovery with N agents ...


Using parallel recovery with 3 agents 64 QSets 192 queues and 128 chunks

Файловые системы не монируете с dio/cio ?

Все файловый системы sapdata смонтированы с флагом cio :

/dev/sapdata100lv /db2/ERP/sapdata100 jfs2 Feb 05 11:29 rw,cio,noatime,log=INLINE
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37654435
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Larry E.Файловые системы не монируете с dio/cio ?

Все файловый системы sapdata смонтированы с флагом cio :

/dev/sapdata100lv /db2/ERP/sapdata100 jfs2 Feb 05 11:29 rw,cio,noatime,log=INLINE
Уберите везде cio.

Поиграйтесь с кол-вом агентов восстановления.
Создайте текстовый файл где-нибудь в домашнем каталоге владельца инстанса с одной строкой:
Код: plaintext
PREC_NUM_AGENTS=N
где N = 5 или 9
Выставьте переменную, чтоб она на этот файл указывала.
Код: plaintext
db2set DB2BPVARS=/home/db2inst1/bpvars.cfg
После каждого изменения в файле перезапустите экземпляр.
Попробуйте rollforward.

А что у вас система не загружена при rollforward?
Или вы в диски или процессор упираетесь?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37654819
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Mark Barinstein,

А этот параметр PREC_NUM_AGENTS где-либо документирован? А то гугл его находит только в списках фиксов :)
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37655278
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
CawaSPbА этот параметр PREC_NUM_AGENTS где-либо документирован? А то гугл его находит только в списках фиксов :)Ну, можно сказать, что в описании этих фиксов он и документирован.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37655535
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Марк, Вы волшебник ! :)

Установил значение PREC_NUM_AGENTS в 9, один архивный лог применяется ~ 1-2 минуты.

Интересно, почему надо убирать cio ?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37655547
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Larry E.Все файловый системы sapdata смонтированы с флагом cio :

/dev/sapdata100lv /db2/ERP/ sapdata100 jfs2 Feb 05 11:29 rw,cio,noatime,log=INLINE

э-э-э ....у вас реально 100 сапдат (100 контейнеров для каждого TS) ?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37655668
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mitek,

Верно.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37655721
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Larry E.mitek,

Верно.

Если не секрет зачем так много ? По скольки (и каким) RAID-массивам они разложены ?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37655980
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Larry E.Интересно, почему надо убирать cio ?В db2 кэширование настраивается на уровне табличных пространств.
Не рекомендуется это делать на уровне файловой системы.
А вот файловая система для журналов с cio может привести к замедлению rollforward.
Опять же этим можно из DB2 рулить.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37656279
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mitek,

По поводу кол-ва разделов sapdata, ответить затрудняюсь. Я так понимаю, Вы намекаете , что их можно было сделать меньше ?
Все sapdata уложены в RAID5 (7D+1P), оперативные журналы транзакций на RAID10 (2D+2D).
По скольки (и каким) RAID-массивам они разложены ?
Уточню у человека который этим занимался, отпишусь.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37656499
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Larry E.Установил значение PREC_NUM_AGENTS в 9, один архивный лог применяется ~ 1-2 минуты.

Интересно, почему надо убирать cio ?Ради интереса:
вы получили такое время, только выставив PREC_NUM_AGENTS, или ли вместе с отключением cio?
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37656521
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Larry E.mitek,

По поводу кол-ва разделов sapdata, ответить затрудняюсь. Я так понимаю, Вы намекаете , что их можно было сделать меньше ?
Все sapdata уложены в RAID5 (7D+1P), оперативные журналы транзакций на RAID10 (2D+2D).
По скольки (и каким) RAID-массивам они разложены ?
Уточню у человека который этим занимался, отпишусь.

Может быть у вас конечно очень большая БД SAP ECC, но 100 контейнеров/tablespace на первый взгляд выглядят как-то экстремально. Просто есть рекомендации типа 1 контейнер -> 1 FS -> 1 LUN -> 1 RAID и если на одном рейде лежат много контейнеров это может быть не очень хорошо с точки зрения балансировки I/O.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37656534
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Mark BarinsteinLarry E.Установил значение PREC_NUM_AGENTS в 9, один архивный лог применяется ~ 1-2 минуты.

Интересно, почему надо убирать cio ?Ради интереса:
вы получили такое время, только выставив PREC_NUM_AGENTS, или ли вместе с отключением cio?

Установил только PREC_NUM_AGENTS, cio при этом НЕ отключали.
...
Рейтинг: 0 / 0
Восстановление базы на другом сервере
    #37672184
Larry E.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет.

Перенос 16 Tb базы SAP ERP на более производительное хранилище данных, успешно состоялся.
Парни, громадное спасибо за помощь, особенно Марку.

Дополнительная информация про PREC_NUM_AGENTS https://www-304.ibm.com/support/docview.wss?uid=swg21509455
...
Рейтинг: 0 / 0
34 сообщений из 34, показаны все 2 страниц
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Восстановление базы на другом сервере
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]