db2 snapshot backup / IBM DB2, WebSphere, IMS, U2

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / db2 snapshot backup

19 сообщений из 19, страница 1 из 1

db2 snapshot backup

#40134143

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

https://www.ibm.com/docs/en/db2/11.5?topic=commands-set-write

Я нагуглил беднягу, который бекапил
1. set write suspend
2. копировал имидж диска
3. set write resume
плюс копировал архивные логи. А потом, когда у него база поломалась, спрашивал, что делать.

Сейчас я стал изучать Veeam и наткнулся на советы использовать set write и на того беднягу. Veeam не поддерживает DB2, может только снимок диска взять. База потом, наверное, поднимется, но логи мы потом на такое не накатим.

Но существует некий
https://www.ibm.com/docs/en/db2/11.5?topic=data-using-snapshot-backup
Но я не понимаю даже, про что он, хотя все слова, казалось бы, знакомые.

...

Рейтинг:

0 / 0

15.02.2022, 09:51

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134151

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

А, вот как можно:
© 2014 IBM Corporation

Flashcopy backup and restore a largely manual proce
Backup
1.Identify LUN(s) associated with the database
2.Identify free target LUN(s) for the copy
3.Establish the flashcopy pair(s)
4.Issue DB2 SUSPEND I/O command to tell DB2 to suspend write I/Os
5.Issue storage commands necessary to do the actual flash copy6.
Issue DB2 RESUME I/O command to return DB2 to normal

Restore
1.Restore/copy target LUN(s) containing backup of interest
2.Issue DB2INIDB command to initialize the database for rollforward recovery
3.Issue DB2 ROLL FORWARD command
https://manualzz.com/doc/34891396/db2-backup-and-restore-best-practices

...

Рейтинг:

0 / 0

15.02.2022, 10:20

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134152

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

оттуда жеReview : Integrated ACS Copy Backup

Flashcopy backup/restore just like any other DB2 backup

Backup
1.DB2 BACKUP DB sample USE SNAPSHOT

Restore
1.
DB2 RESTORE DB sample USE SNAPSHOT
DB2 ROLLFORWARD

...

Рейтинг:

0 / 0

15.02.2022, 10:22

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134153

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

Но это просто концепции. До реализации использования ACS Copy Backup - пропасть.

...

Рейтинг:

0 / 0

15.02.2022, 10:25

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134174

Mark Barinstein

Гость

Victor Metelitsa

https://manualzz.com/doc/34891396/db2-backup-and-restore-best-practices
Практически у всех этих руководств один серьезный недостаток.

Код: plaintext

4.5. fsfreeze (Linux) / chfs -a freeze (AIX) / аналог для остальных ОС

Если вы не делаете пункт выше (сброс файлового кэша соотв. файловых систем на диск), то очень рискуете получить поврежденную файловую систему в целевой системе, когда исходная файловая система активно используется на запись в момент получения копии.

Когда делал это однажды на практике для промышленной системы заказчика, то решил не использовать ACS. Это просто обертка вокруг шагов выше с некоторыми требованиями и черными ящиками, что было неудобно. Для меня было проще все нужные команды реализовать на шелле - так больше контроля над тем, что происходит.

...

Рейтинг:

0 / 0

15.02.2022, 11:29

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134185

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

Мне кажется, что Veeam просто обязан сбрасывать кеш файловой системы, когда делает snapshot диска. А по описанию того, как он делает, мне даже непонятно, зачем нужен db2 set write.

...

Рейтинг:

0 / 0

15.02.2022, 11:58

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134235

Mark Barinstein

Гость

Victor Metelitsa

В моем случае "5.Issue storage commands necessary to do the actual flash copy" это было: зайти по ssh на хост системы хранения и выдать команду типа "сделай копию вот этой consistency group". Подозреваю, что система хранения оперирует физическими устройствами, и при выдаче этой команды никакой обратной связи в ОС типа "сбрось кэш соответствующих ФС на диск" не происходит.
Ну, может, в этом Veeam есть какая-то утилита, которая под капотом всё это делает...

"db2 set write" делает соответствующие действия и изменения в своих структурах для выполнения нужного шага. Грубо говоря, прекращает запись данных на диск, чтоб можно было выполнять соответствующие внешние по отношению к Db2 действия дальше.

...

Рейтинг:

0 / 0

15.02.2022, 13:55

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134249

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

Если сервер внезапно выключить, включить, то база обязана восстановиться (при условии, что не пропало закешированное внутри буферов SSD и HDD). Даже с учётом пропажи кеша файловой системы.

db2 set write suspend должен помогать, если мы копируем диск чем-то вроде dd. То есть, мы начали копировать в момент T1, но какой-то блок к моменту T2 не успели скопировать, а СУБД туда взяла и записала. А нам нужно, чтобы все блоки были строго на момент T1.

А Veeam именно это и обещает. Что все блоки будут в состоянии на момент старта копирования тома. Что он отслеживает записи на диск и не даст версии T1 пропасть, а сразу закинет блок времени T1 в свой бекап (ну, а на диск придёт новая версия блока).

...

Рейтинг:

0 / 0

15.02.2022, 14:17

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134269

Mark Barinstein

Гость

Victor Metelitsa

Я описываю свой собственный опыт и опыт других заказчиков, которые, судя по их PMR'ам, тоже влетали в такие проблемы. Не знаю, как оно там внутри работает, но пока я не вставил у себя соответтвующие команды явно, то время от времени получал от db2 backup на целевой системе ошибки повреждения данных. Там не файловая система повреждалась, а контроль консистентности данных в db2 выдавал ошибки. После этого - ни разу за несколько лет при ежедневно делающихся копиях нескольких довольно больших баз.

...

Рейтинг:

0 / 0

15.02.2022, 15:01

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134569

witte

Участник

Сообщения: 409

Рейтинг: 0 / 0

Mark Barinstein

Практически у всех этих руководств один серьезный недостаток.

Код: plaintext

4.5. fsfreeze (Linux) / chfs -a freeze (AIX) / аналог для остальных ОС

Марк, а CIO/DIO это не решает?
Или речь именно про блоки ФС не относящиеся к БД?

...

Рейтинг:

0 / 0

16.02.2022, 16:23

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134655

Mark Barinstein

Гость

witte,

Речь про повреждение данных в таблицах. К сожалению, не помню, что стояло в file system caching у пространств с этими таблицами.
Может, оно и помогло бы, но пространства с лобами обычно делают с кэшированием в файловой системе, и переключить это плохо для производительности.

Там к тому же по-моему ещё и конф. параметры базы иногда на диск не сохранялись. Например, у каких-то нод восстанавливаемой базы могло оказаться, что они не в write suspend неожиданно. А этим никак вообще рулить нельзя - такие служебные файлы, видимо, открываются всегда с кэшированием.
Ну и да, пытался писать в тестовый файл в этой ФС (обычным echo), и не получал, конечно, записанного при восстановлении.

Насмотревшись на всё это, решил принудительно сбрасывать буферы.

...

Рейтинг:

0 / 0

16.02.2022, 21:37

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134668

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

В таком случае и внезапная перезагрузка сервера может потенциально привести к повреждению базы и вынужденному восстановлению базы из бекапа.

Но мне даже и не приходило в голову включать файловое кеширование (но у меня и лобов практически нет). Может, лобы лучше как физические файлы держать, раз такое дело.

А как могут не сохраниться параметры? Ну, то есть, обычно грязные страницы держатся грязными недолго, а параметры меняются редко - надо большую удачу, чтобы попасть.

...

Рейтинг:

0 / 0

16.02.2022, 22:34

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134716

Mark Barinstein

Гость

Victor Metelitsa

В таком случае и внезапная перезагрузка сервера может потенциально привести к повреждению базы и вынужденному восстановлению базы из бекапа.

Да, может. Что иногда и происходит.

Victor Metelitsa

А как могут не сохраниться параметры? Ну, то есть, обычно грязные страницы держатся грязными недолго, а параметры меняются редко - надо большую удачу, чтобы попасть.

Конфигурационные параметры хранятся на диске в файле sqldbconf.
Последовательность такая примерно была:

На Primary:

Код: plaintext

1.
2.
3.

db2 set write suspend
db2 get db cfg for mydb | grep -i suspend # получение параметра с диска, не из памяти
 Database is in write suspend state                      = YES
# Создание копии

На Standby:

Код: plaintext

1.
2.
3.

# Восстановление копии
db2 get db cfg for mydb | grep -i suspend
 Database is in write suspend state                      = NO

То же самое с echo в файл на той же ФС.
Очевидно, что sqldbconf открывается с кэшированием, время между db2 set write и взятием копии слишком мало (никто не будет неизвестно сколько ждать между командами, пока кэш сам сбросится), чтоб изменения из кэша попали на диск, и на Standby этого изменения нет.
И так может быть и с другими файлами с весьма важной контрольной информацией.

...

Рейтинг:

0 / 0

17.02.2022, 09:39

| Ответить | Цитировать | Написать

db2 snapshot backup

#40134727

Victor Metelitsa

Участник

Откуда: Тюмень

Сообщения: 2 626

Рейтинг: 0 / 0

Мне кажется, что так быть не должно, и если так есть, то это баг.

...

Рейтинг:

0 / 0

17.02.2022, 10:39

| Ответить | Цитировать | Написать

Период между сообщениями больше года.

db2 snapshot backup

#40138414

panzer

Участник

Сообщения: 3

Рейтинг: 0 / 0

Господа прошу помощи.
DB2 версия 11.1 пытаюсь делать рестор с той же версии.
Есть у меня вот такой батник. Да база под виндой.

db2 connect to mydb user db2admin using mypass
db2 export to .\maxpropvalue_dev.ixf of ixf messages .\log.txt select * from maximo.maxpropvalue
db2 quiesce database immediate force connections
db2 connect reset
db2 restore database mydb user db2admin using mypass from D:\backup taken at 20240131162431 with 3 buffers buffer 1000 without rolling forward without prompting
db2 connect to mydb user db2admin using mypass
db2 import from maxpropvalue_dev.ixf of ixf replace into maximo.maxpropvalue
db2 connect to mydb user db2admin using mypass1
db2 unquiesce database
db2 connect reset

Сто раз это делал на 10.5 и все всегда было прекрасно да и сейчас тоже прекрасно а на 11. вот ....

В консоли отписывается, сколько строк скопировано, все хорошо, изменения прошли успешно
Но на самом то деле в бд нет никаких изменений. Как будто ничего не ресторилось.

Что делать и как с этим бороться?

...

Рейтинг:

0 / 0

31.01.2024, 22:14

| Ответить | Цитировать | Написать | Ответы

db2 snapshot backup

#40138415

panzer

Участник

Сообщения: 3

Рейтинг: 0 / 0

Господа, еще один вопрос по переходу с 10.5 на 11.1 который меня мучает и на который я не нахожу объяснений.

На 11.1 я создаю БД, потом ресторю бэкап с 10.5 (вес 2,5 гб) на базу 11.1
потом запускаю liteupdatedb база говорит все ок, подтянулась до актуальной версии.
Потом я делаю бэкап с новой базы ииии он почему то становится 16 гигов!!!!! Был 2,5 на 10.5 а тут ррраз и 16!!!!
Почему так происходит и что с этим делать?

...

Рейтинг:

0 / 0

31.01.2024, 22:30

| Ответить | Цитировать | Написать | Ответы

db2 snapshot backup

#40138420

Guzya

Участник

Сообщения: 15

Рейтинг: 0 / 0

panzer [игнорируется]

Оба размера без сжатия?

...

Рейтинг:

0 / 0

01.02.2024, 23:13

| Ответить | Цитировать | Написать | Ответы

db2 snapshot backup

#40138421

Guzya

Участник

Сообщения: 15

Рейтинг: 0 / 0

panzer 31.01.2024, 22:14

[игнорируется]

40138414

А точно есть разница м\у таблицей в бэкапе и в выгруженном файле\загруженном?
На всякий случай, потсавте commit после импорта.

...

Рейтинг:

0 / 0

01.02.2024, 23:34

| Ответить | Цитировать | Написать

db2 snapshot backup

#40138427

panzer

Участник

Сообщения: 3

Рейтинг: 0 / 0

Guzya [игнорируется]

да, я не сжимал их,
когда я делаю быкап на версии 10.5 то файл получается 2,5 ГИГА
Я делаю рестор этого файла на вновь созданной базе 11.1, ресто проходит удачно, данные в приложении появляются.
Потом я делаю бэкап этой базы на 11.1 ии файл получается 16 гигов.

...

Рейтинг:

0 / 0

05.02.2024, 14:31

| Ответить | Цитировать | Написать

19 сообщений из 19, страница 1 из 1

Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / db2 snapshot backup

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

Start [/forum/topic.php?fid=43&msg=40134569&tid=1600087]:	0ms
get settings:	18ms
get forum list:	15ms
check forum access:	3ms
check topic access:	3ms
track hit:	58ms
get topic data:	10ms
get forum data:	2ms
get page messages:	418ms
get tp. blocked users:	1ms
others:	13ms

total:	541ms