powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / бэкап с одновременным параллельным внесением данных при отключенном журналировании
22 сообщений из 22, страница 1 из 1
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37248861
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
subj

Будут ли ошибки целостности в базе, восстановленной из такого бэкапа?
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37248907
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Насколько я понимаю процесс бэкапа нет.
Бэкап идет в три шага
В первом замораживается внесение изминений WIJ в базу и выполняется ее поблочный бэкап
в следующих двух шагах идет добавление внесенных с момента заморозки блоков....
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37248957
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А т.е. тут участвуют не журналы, а WIJ?
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37248958
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Параллельно у меня висит монитор системы, и судя по нему время от времени сброс данных в базу все-таки происходит.
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249024
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н., а как вы определили, что это именно сброс в базу? Возможно, это сброс в WIJ.
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249048
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журналы просто переключаются при бэкапе для удобства дальнейшего восстановления, те восстановил бэккап и дальше по журналам....
Там много проходовый сброс, поэтому можно делать бэкап при работе сервера (записи в базу)
Конечно лучше для бэкапа использовать время с минимальнй нагрузкой на WIJ (те когда данные в базе не меняются или изменения минимальны) например ночью. При этом время сохранения/востановления и размер файла бэкапа будут минимальными, за счет минимизации дополнительных проходов (сброс изминенных с момента заморозки блоков)

Хотя можно и делать внешний бэкап, заморозка системы, копирования базы, востановление работы системы или использовать специализированное железо для горячего бэкапа
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249059
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.Параллельно у меня висит монитор системы, и судя по нему время от времени сброс данных в базу все-таки происходит.

А что за монитор используеш? Какая версия Каше?
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249321
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gr_vlХотя можно и делать внешний бэкап, заморозка системы, копирования базы, востановление работы системы или использовать специализированное железо для горячего бэкапаПробовал внешний бэкап. На самом деле, замораживается только демон записи, процессы продолжают работать, а измененные данные - накапливаться в кэше глобалов вплоть до истечения таймаута (умолчание - 10 минут) или до заполнения кэша. Только если наступает одно из этих событий, замораживается вся система. Подробности см. док-ю класса Backup.General, метод ExternalFreeze. В нормальных условиях (когда параллельно никто гигабайты в БД не заливает :) даже небольшого (512Мб) кэша хватает за глаза, впрочем этот момент каждый может сам оценить, исходя из статистики работы свое системы (кол-ва физических записей блоков в минуту).
Немного напрягает здесь только одно: "классический" бакап всё же хорошо интегрирован с журналом, восстановил его - и тебе сразу предлагают восстановиться по журналу, причём, начиная с правильного файла. А в случае внешнего бакапа выбор журнала для восстановления должен делать админ, т.е. добавляется человеческий фактор.

gr_vl, насчёт специализированного железа: может быть есть конкретный опыт, которым вы захотите с нами поделиться? :)
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249526
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey MaslovБлок А.Н., а как вы определили, что это именно сброс в базу? Возможно, это сброс в WIJ.
База на отдельном диске.
Каше 2009.1.6.
Смотрю виндовым монитором обычным, Control Panel\Administrative Tools\Perfomance.
Временами скачок записи секунд на 20, потом длительная тишина порядка минуты.

Результат бэкапа не критичен, т.е. если он будет кривой - скажу "упс" и сделаю заново.
Просто интересует, вот если я сейчас сжатие базы или дефрагментацию запущу (а они в журнал тоже не пишут),
то как оно сможет чисто теоретически сделать адекватный бэкап?
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249642
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н., если виндовый монитор, то как он отличит запись в БД от записи в WIJ, от записи в *.cbk и т.д.? Разве что они у вас разнесены по разным дискам... Тут мониторить изнутри Cache надо, например GLOSTAT'ом, задавая интервал времени меньший, чем время бакапа.
Как уже сказал gr_vl, здесь главное, чтобы запись шла в WIJ, а не в журнал. Все операции с БД пишут в WIJ (так уж устроен демон записи), так что можно не волноваться насчёт дефрагментации и пр.
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249672
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н., пардон, не заметил, что база у вас на отдельном диске. Возможно, сброс в БД всё же происходит (но всё же я помониторил бы GLOSTAT), но в какие-то безопасные моменты. Например, после записи очередной накопленной порции блоков из WIJ в .cbk вроде бы безопасно записать её и в базу, хотя бы для того, чтобы WIJ не разрастался. Заметьте, что интервал сброса около 1 минуты довольно велик, в нормальных условиях интервал сброса буферов меньше, где-то 10-15 сек, если не ошибаюсь.
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249685
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.,


Адекватно было бы если при запуске выдалоы сообщение что база заблокирована идет дефрагментация или бэкап.....

А вообще, чисто теоритически может и получите адэкватный бэкап, но меня терзают сомнения что он может быть в несколько раз больше базы.

Если будете эксперементировать, сообщите результаты.

И еще по поводу монитора активности, блоки базы помечаются для возможности выполнения полного инкриментного или комулятивного бэкапа. Так что может быт вы эту активность и наблюдали.....
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249704
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gr_vlБлок А.Н.,


Адекватно было бы если при запуске выдалоы сообщение что база заблокирована идет дефрагментация или бэкап.....

А вообще, чисто теоритически может и получите адэкватный бэкап, но меня терзают сомнения что он может быть в несколько раз больше базы.

Если будете эксперементировать, сообщите результаты.

И еще по поводу монитора активности, блоки базы помечаются для возможности выполнения полного инкриментного или комулятивного бэкапа. Так что может быт вы эту активность и наблюдали.....

Те уточняю при изменение блока данных на нем устанавливается признак что он был изменен с последнего полного или инкрементного бэкапа, а при выполнении бэкапа этот признак с блока попавшего в бэкап убирается....
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249811
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Про инкрементные бэкап мне сильно кажется, что он делается только по журналам.
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37249937
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.Про инкрементные бэкап мне сильно кажется, что он делается только по журналам.

Для бєкапа журналі не используются!!!!!
Если делаешь не полный бэкап используются блоки измененные с последнего полного бэкапа(инкриментный) или изминенные после последнего, любого бэкапа(комулятивный)!!
Информация об изминенных блоках хранится в самой базе!
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37250130
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Alexey Maslov]gr_vl
gr_vl, насчёт специализированного железа: может быть есть конкретный опыт, которым вы захотите с нами поделиться? :)

Друзья использовали RAID с горячей заменой SATA2
У меня все проще останавливается Каше, копируются базы, запускается Каше, запускается архивирование и после передача архива на фтп где уже ручками запись на носитель....
На утро имеем копию базы за предыдущий день и зарезервированную, готовую к записи копию.
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37250225
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gr_vl,

Спасибо, так оно и есть.
В принципе это более логичный и надежный способ, но почему-то я был уверен, что используются именно журналы.
Но в качестве метки наверняка используется не системное время, а что-то другое, потому что поломать логику бэкапа играясь с системным временем у меня не получилось.

Получается, журналы используются только для транзакций?
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37250686
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.gr_vl,

Спасибо, так оно и есть.
В принципе это более логичный и надежный способ, но почему-то я был уверен, что используются именно журналы.
Но в качестве метки наверняка используется не системное время, а что-то другое, потому что поломать логику бэкапа играясь с системным временем у меня не получилось.

Получается, журналы используются только для транзакций?

-- Для зеркалирования (теневой сервер),
-- транзакций,
-- востановления данных (от последнего бэкапа и до последнего момента (или нужной даты)
-- для «поиска вредителй» (кто что скоректировал в базе....)
-- для формирования почты (выборки изменении) для филиалов (сброс изминений справолчников и тд) off-line (те формируется выборки в файл, для каждого предприятия свои маски отбора данных и потом пересылается с главного офиса на удаленный филиал, с филиала в главный офис (Рабоатет на удаленных филиалов где нет постоянной связи и работает автономный локальный серер Cache).
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37250687
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Блок А.Н.gr_vl,

Спасибо, так оно и есть.
В принципе это более логичный и надежный способ, но почему-то я был уверен, что используются именно журналы.
Но в качестве метки наверняка используется не системное время, а что-то другое, потому что поломать логику бэкапа играясь с системным временем у меня не получилось.

Получается, журналы используются только для транзакций?
Используется не время а бит признак был ли блок изминен с последнего полного или инкрмиентного бэкапа.....
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37250833
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot gr_vl]Блок А.Н.gr_vl,
-- для формирования почты (выборки изменении) для филиалов (сброс изминений справолчников и тд) off-line (те формируется выборки в файл, для каждого предприятия свои маски отбора данных и потом пересылается с главного офиса на удаленный филиал, с филиала в главный офис (Рабоатет на удаленных филиалов где нет постоянной связи и работает автономный локальный серер Cache).
А как вы журнал разделяете?
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37251079
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Блок А.Н.]gr_vlпропущено...

А как вы журнал разделяете?
Пересылается не сам журнал а файл сформированный с выборками из журнала, те
в Cache есть api для извлечения из журнала данных типа:
-тип операции
-база и узел глобала
-значение узла
и еще несколько
В зависимости от узла определяем нужна ли эта корректировка на каком нибудь филиале (Для каждого филиала заведены справочники, согласно которым идет отбор данных), если да то изменения попадают в файл предназначенный для отправки этому филиалу (на самом деле несколько сложнее), упростил для понимания.
...
Рейтинг: 0 / 0
бэкап с одновременным параллельным внесением данных при отключенном журналировании
    #37251120
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gr_vl,

Серьезно у вас все там :-)
...
Рейтинг: 0 / 0
22 сообщений из 22, страница 1 из 1
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / бэкап с одновременным параллельным внесением данных при отключенном журналировании
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]