powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Informix [игнор отключен] [закрыт для гостей] / Стали теряться журналы
16 сообщений из 16, страница 1 из 1
Стали теряться журналы
    #36390480
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Win2003 EE + Informix 9.40 TC7

Появилась большая проблема в скрипте который работал годами. Вернее судя по всему я только сейчас это заметил (и похолодел)
Бэкап логов у меня делает скрипт, который сделан по подобию этого
Скрипт пристёгиваю к сообщению. Протокол его отработки тоже.
Заполненный лог (tape2) копируется в 2 отдельные папки. Папки обе локальные.
Сегодня с ужасом заметил, что отсутствуют некоторые журналы.
Например отсутствуют журналы 34673-34676, 34678, 34682, 34685...
Никак не могу по протоколу понять в чём дело. То ли команда copy не всегда отрабатывает. То ли отрабатывает в тот момент когда ещё не до конца завершилось формирование tape2.
Прошу помощи ибо база продакшн и в случае чего потеря журналов просто недопустима.
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390498
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Эти журналы отсутствуют в 1-й папке, а во-второй (копирование в которую стоит вторым в очереди, т.е. чуть позже) только 34676 и 34682. Совсем непонятно.
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390600
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя Жора
Появилась большая проблема в скрипте который работал годами. Вернее судя по всему я только сейчас это заметил (и похолодел)
Бэкап логов у меня делает скрипт, который сделан по подобию этого
Скрипт пристёгиваю к сообщению. Протокол его отработки тоже.
Заполненный лог (tape2) копируется в 2 отдельные папки. Папки обе локальные.
Сегодня с ужасом заметил, что отсутствуют некоторые журналы.
Например отсутствуют журналы 34673-34676, 34678, 34682, 34685...
Никак не могу по протоколу понять в чём дело. То ли команда copy не всегда отрабатывает. То ли отрабатывает в тот момент когда ещё не до конца завершилось формирование tape2.
А вы заметили, что в каждом таком случае в протоколе отсутствует сообщение об успешном копировани "1 file(s) copied.", но зато на его месте присутствует другое сообщение, типа "Log Backup completed: 34682." ? И очень часто вылазит "2", и что, очень похоже на то, что ваш скрипт просто прерывается следующим вызовом этого же файла по alarm programm.

По прошлому опыту помню, что при всей своей внешней простоте батники имеют не только много возможностей , но и специфических особенностей и фичей (сравнимых с багами), которые к тому же могут изменяться в разных версиях Виндовс. Так что такие вещи (типа реентерабельности) требуют очень тщательного тестирования.

Дядя ЖораПрошу помощи ибо база продакшн и в случае чего потеря журналов просто недопустима.
Для продакшен админу положено уметь и РЕГУЛЯРНО проводить процедуру тестового восстановления (хотя бы раз в пол-года), что бы и уметь это быстро и правильно делать в стрессовой ситуации и чтобы периодически проверять те же механизмы бэкапирования и корректность копий.
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390626
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vasilis
А вы заметили, что в каждом таком случае в протоколе отсутствует сообщение об успешном копировани "1 file(s) copied.", но зато на его месте присутствует другое сообщение, типа "Log Backup completed: 34682." ? И очень часто вылазит "2", и что, очень похоже на то, что ваш скрипт просто прерывается следующим вызовом этого же файла по alarm programm.

По прошлому опыту помню, что при всей своей внешней простоте батники имеют не только много возможностей , но и специфических особенностей и фичей (сравнимых с багами), которые к тому же могут изменяться в разных версиях Виндовс. Так что такие вещи (типа реентерабельности) требуют очень тщательного тестирования.


Я это заметил. Только пока не понимаю как с этим бороться.

vasilisДля продакшен админу положено уметь и РЕГУЛЯРНО проводить процедуру тестового восстановления (хотя бы раз в пол-года), что бы и уметь это быстро и правильно делать в стрессовой ситуации и чтобы периодически проверять те же механизмы бэкапирования и корректность копий.

Ну, тестовое восстановление я уже годами делаю в среднем раз в неделю, а иногда и чаще. Обычно я поднимаю базу с 0-го уровня (иногда добавляю 1-го, иногда ещё 2-го) и пару журнальчиков ещё накатываю до нужного времени. Удивительно, что за такой промежуток времени, я ни разу не попал на дырку, но это факт.
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390632
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мне даже удаётся эту гадость на тесте воспроизвести. Если я даю несколько раз подряд onmode -l. Пробовал в разные места alarm.bat вставлять искусственные паузы - пока не помогает.
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390643
Чемберлен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А выложите-ка часть online.log, в которой описано заполнение и копирование этих журналов: 34673-34676, 34678, 34682, 34685
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390661
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ЧемберленА выложите-ка часть online.log, в которой описано заполнение и копирование этих журналов: 34673-34676, 34678, 34682, 34685

С виду ничего странного
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390665
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это информиксовый лог, а протокол отработки alarm.bat я пристегнул в первом сообщении.
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390729
cpr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
cpr
Гость
Раньше я думал? что я параноик.
У меня восстановление с накатом логов происходит на резервном сервере каждый день.
А теперь думаю, что это хорошая болезнь.
;-)
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390864
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
cprРаньше я думал? что я параноик.
У меня восстановление с накатом логов происходит на резервном сервере каждый день.
А теперь думаю, что это хорошая болезнь.
;-)
Хоть и хорошая, но все таки болезнь :)
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390909
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя ЖораМне даже удаётся эту гадость на тесте воспроизвести. Если я даю несколько раз подряд onmode -l. Пробовал в разные места alarm.bat вставлять искусственные паузы - пока не помогает.
1. Do you want to back up the current logical log? (y/n) - зачем копировать текущий журнал ? Он практически пустой и только замедляет процесс бакапирования. Копируйте только заполненный журнал(ы).
2. Журналы лучше сделать большими по размеру, чтобы заполнение следующего (и вызов события 23) не наложилось на время выполнения бэкапа предыдущего лога.
3. По логу видно, что ваш батник вызывается (вызывается он на все события) _и работает_ и на 18 событие (завершение бэкапа). Зачем?
4. Копирование файлов лучше сделать в другом батнике, который вызывать из текущего. Тогда операция копирования уже не будет зависеть от частоты вызовов alarm.bat и от его прерываний.
5. При входе в alarm.bat нужно выставлять некий флаг и сбрасывать его при завершении батника.
И при входе в батник обязательно проверять флаг - если он выставлен, значит еще идет обработка батником, вызванным предыдущим вызовом и текущий вызов нужно проигнорировать. В виде флага может быть что угодно - маленький файлик на диске, внешняя переменная окружения и т.п.
6. Мне кажется, что над вашим батником надо поработать серьезнее :)
Попробуйте глянуть на DBA_Tools\BAT\event_alarm.bat - он хоть и старенький (2003 года) но там корректно велся журнал всех событий и можно вставить свою обработку на любое событие.
Жаль, что у меня уже давно нет сервера - я бы поупражнялся в старом "программировании" батников :)
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36390910
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дядя ЖораМне даже удаётся эту гадость на тесте воспроизвести. Если я даю несколько раз подряд onmode -l. Пробовал в разные места alarm.bat вставлять искусственные паузы - пока не помогает.
зачем же замедлять ? Наоборот, батник ускорять надо :)
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36391591
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vasilis1. Do you want to back up the current logical log? (y/n) - зачем копировать текущий журнал ? Он практически пустой и только замедляет процесс бакапирования. Копируйте только заполненный журнал(ы).
.....


Спасибо. Очень разумные советы. Щас буду экспериментировать и расскажу потом.
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36393269
Фотография Дядя Жора
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vasilis
3. По логу видно, что ваш батник вызывается (вызывается он на все события) _и работает_ и на 18 событие (завершение бэкапа). Зачем?
4. Копирование файлов лучше сделать в другом батнике, который вызывать из текущего. Тогда операция копирования уже не будет зависеть от частоты вызовов alarm.bat и от его прерываний.
5. При входе в alarm.bat нужно выставлять некий флаг и сбрасывать его при завершении батника.
И при входе в батник обязательно проверять флаг - если он выставлен, значит еще идет обработка батником, вызванным предыдущим вызовом и текущий вызов нужно проигнорировать. В виде флага может быть что угодно - маленький файлик на диске, внешняя переменная окружения и т.п.

Я отработал только 4-й пункт и всё наладилось. Ещё немного подправил alarm.bat, чтобы не было лишнего вывода на EVENT_CLASS=18-е событие. 5-й слава Богу делать уже не надо. А то стрёмно если вдруг батник сбойнёт и флаг не обнулится. Но если бы не помогло, то пришлось бы и его делать.
Спасибо большое!
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36394447
KyRo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я б все таки, так же увеличил размер логов, как советует vasilis, так как из лога видно что один журнал у Вас заполняется меньше чем за минуту и при пиковой нагрузке на сервер с этим могут так же возникнуть проблемы.

Код: plaintext
1.
2.
3.
 15 : 44 : 34   Logical Log  34689  - Backup Started
 15 : 44 : 34   Logical Log  34689  - Backup Completed
 15 : 45 : 09   Logical Log  34690  Complete, timestamp: 0x389b826b.
 15 : 45 : 09   Logical Log  34690  - Backup Started
...
Рейтинг: 0 / 0
Стали теряться журналы
    #36394545
Чемберлен
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
авторБэкап логов у меня делает скрипт, который сделан по подобию этого

Таки оригинальный скрипт этой проблемы не имел :)

Он (и его UNIX-версии) работают в десятках мест даже при заполнении нескольких журналов в секунду ;) Но версия с блокировкой повторного вызова до завершения тоже где-то имелась, кому-то и по какой-то причине я ее писал...
...
Рейтинг: 0 / 0
16 сообщений из 16, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / Стали теряться журналы
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]