powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Сжатие бекапов и ускорение восстановления - возможно ли это?
31 сообщений из 31, показаны все 2 страниц
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080247
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Есть 2 вопроса:
1. Можно ли каким то образом сжать бекап при его создании? Бекап баз у нас занимает 34 гигабайта, можно ли как то уменьшить его размер?
2. Можно ли как то ускорить восстановление БД из бекапа. У нас бекап восстанавливается около 40 минут. Может можно указать какие то параметры при восстановлении?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080323
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabiosЕсть 2 вопроса:
1. Можно ли каким то образом сжать бекап при его создании? Бекап баз у нас занимает 34 гигабайта, можно ли как то уменьшить его размер?
2. Можно ли как то ускорить восстановление БД из бекапа. У нас бекап восстанавливается около 40 минут. Может можно указать какие то параметры при восстановлении?
1. нет
2.быстрый диск, быстрая и большая память, помогут ускорить восстановление

а чем вас не устраивает размер бэкапа, размер бэкапа, приблизительно равен размеру файлов БД которые в него попадают
да и 34 GB не так и много, у нас такие БД наверно на самых мелких проектах, размеры доходят до нескольких терабайт, восстановление правда больше одного дня.
уменьшить размер бекапа, можно уменьшив размер резервируемых данных, выделите наиболее критичные данные, те что должны резервироваться обязательно и часто, то что не критично и не требует частого резервирования можно резервировать иначе (например просто скопировать)
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080574
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
DAiMor,

ясно, спасибо. Не устраивает тем что необходим быстрый перенос и восстановление бекапа на другой сервер (в течении получаса)
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080593
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabiosDAiMor,

ясно, спасибо. Не устраивает тем что необходим быстрый перенос и восстановление бекапа на другой сервер (в течении получаса)
для быстрого переноса, можно обойтись и простым копированием, если сервер живой
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080595
ser_shu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vitabios,
восстанавливайте на другой сервер сразу после копирования - тогда только журналы накатить останется.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080690
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ser_shu,

поподробнее, бекап делается ночью, утром я прихожу на час раньше остальных и должен успеть сделать восстановление на другом сервере.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080695
Valeriu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Почему если так критично не пользуйтесь теневым сервером ?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080708
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabiosбекап восстанавливается около 40 минут утром я прихожу на час раньше остальных и должен успеть сделать восстановление на другом сервереvitabiosутром я прихожу на час раньше остальных и должен успеть сделать восстановление на другом сервереЕсли сервера связаны 1 Gbps сетью, вы должны успеть, придя на 1.5 часа раньше остальных, если же 100 Mbps - возможно, придётся прийти на 2.5 часа раньше. Если процедура разовая - как-нибудь можно пережить, если постоянная - стоит подумать об автоматизации (хотя бы) копирования *.cbk-файла на другой сервер, чтобы вы пришли утром, а файл вас уже ждал на месте. Программа-максимум - автоматизировать и восстановление, ищите по форуму (и/или в документации) DBREST.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080728
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вспомнил что недавно был вопрос об автоматизации восстановления БД, нашел ту тему и оказалась что это вы задавали тот вопрос
какие возникли проблемы с автоматизацией этого процесса ?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38080764
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
DAiMor,

у меня 2 таких приложения, до этого времени автоматизировал первое (DB2/Websphere)
С понедельника начну пробовать второе. Трудности... английская документация, и еще не понял: как мне написать некий батник, который будет сам вводить имя и пароль superuser'а и выполнять DBREST в консоли CACHE?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38084766
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Максимально быстрый бэкап/восстановление - копирование файла cache.dat :External BackupExternal backup is currently the recommended best practice for backing up Caché. It integrates easily with your existing system backup procedures and typically allows for a zero downtime backup.
источник Для некоторой автоматизации этого процесса можно запланировать задачу типа RunLegacyTask в Менеджере задач Портала. Там же можете задать и логин/пароль, и периодичность выполнения, и многое другое.
Сам код по созданию копии БД с последующим её копированием может быть примерно следующим:  s old=$zu(5)
  s dt=$tr($tr($ZDT($H,8)," ","_"),":","-")
  s file="C:\Backup\cachedat_full_"_dt
  s logfile=file_".log"
  s file=file_".bck"
    
  s p="copy /B /Y "_$ZU(12,"")_"cache.dat "_file
  zn "%SYS"
  d ##class(Backup.General).ExternalFreeze(logfile,"",0)
  s x=$ZF(-1,p)
  d ##class(Backup.General).ExternalThaw(logfile)

  zn oldПроцесс восстановления:
размонтировать БД ;

заменить cache.dat ;

восстановить журналы ;

заново смонтировать БД.

Для External Backup также нужно учитывать, что если у Вас для резервируемой БД включено шифрование, то и полученный бэкап получится тоже зашифрованным, в отличие от Caché Online Backup .
Соответственно, если бэкап будет использоваться на другой системе, то там должен быть либо такой же ключ шифрования, либо нужно будет предварительно воспользоваться утилитой cvencrypt.exe : Considering Database Encryption

Ещё нюансы внешнего резервирования:

10615763

ExternalFreeze

PS: для программной проверки целостности файлов БД/журналов, отдельных глобалов есть ряд методов. Вот некоторые из них:

##class(SYS.Database).SilentIntegrityCheck()

##class(%GlobalEdit).CheckGlobalIntegrity()

##class(%SYS.Journal.File).CheckIntegrity()
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085069
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
servit,

а можно к примеру на горячую скопировать cache.dat c рабочего сервера на резервный? или журналы тоже нужно будет копировать?
можно ли на резервном остановить cache, заменить cache.dat и журналы и запустить cache - будет ли работать?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085152
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
servitзадачу типа RunLegacyTaskА почему именно этого типа? Он был придуман для переноса задач из старого планировщика (Cache 5.0) и к применению в новых задачах не рекомендуется. Вот и документация гласит:class %SYS.Task.RunLegacyTask extends %SYS.Task.Definition

This class provides a way for users of previous versions of Task Manager to easily migrate their tasks which were based on 'ExecuteCode'. It is shown as a 'Task type' in the Task Scheduler Wizard so that users may enter their code there.

Note that all new user-defined tasks should be created by subclassing %SYS.Task.Definition and editing the OnTask() method. See examples in the [SAMPLES]Sample.Task and Sample.Task* classes.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085165
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabiosа можно к примеру на горячую скопировать cache.dat c рабочего сервера на резервный? или журналы тоже нужно будет копировать?Если с БД никто не работает, то можно. Журналы копировать в этом случае не нужно. Чтобы уже в процессе копирования БД никто не подключился и не начал в ней что-то менять, лучше её предварительно отмонтировать.
vitabiosможно ли на резервном остановить cache, заменить cache.dat и журналы и запустить cache - будет ли работать?Зачем останавливать СУБД? Можно просто отмонтировать/подмонтировать БД. И это значительно быстрее перезагрузки.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085221
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey MaslovА почему именно этого типа? Он был придуман для переноса задач из старого планировщика (Cache 5.0) и к применению в новых задачах не рекомендуется.Потому что для ТС это будет на данном этапе проще. Можно, конечно, создать и свой класс для задачи, о чём по ссылке выше есть примечание.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085246
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
servit,

По-видимому, у нас с вами разные представления о простоте :)
Вам кажется, что проще заполнить свойство ExecuteCode, а мне, что проще определить метод OnTask().
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085291
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
servit,

тогда спрошу по другому, можно ли вообще на горячую скопировать файлы ничего не останавливая и не отмонтируя?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085344
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabiosможно ли вообще на горячую скопировать файлы ничего не останавливая и не отмонтируя? Технически можно: файл cache.dat не блокируется. Но в этом случае нет гарантии целостности данных.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085350
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
servit,

может задаю глупый вопрос: а чем может грозить это? (потеря целостности)
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085380
Блок А.Н.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Некоторые данные не будут видеться. Или будут аномалии видимости - так видится, а так нет.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085396
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabios ,

Пока Вы будете копировать 34 Гб пользователи могут успеть "похозяйничать".
В итоге между началом копирования файла и её концом состояние данных в БД успеет значительно поменяться.
Возможно (не проверял), что и сам процесс долгого копирования файла может СУБД как-то помешать нормально вносить в него изменения.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085410
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
servit,

Я собираюсь копировать в 5 утра. не думаю что у нас есть такие безбашенные пользователи)
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38085457
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabios ,

Поэтому я и написал:servitЧтобы уже в процессе копирования БД никто не подключился и не начал в ней что-то менять, лучше её предварительно отмонтировать.Это для подстраховки на случай, если кому-то всё же не спится.
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38129774
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
копирование файла cache.dat не помогает, данные не обновляются
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38129801
doublefint
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabios, как проверяли видимость?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38129846
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
сравнивал данные на исходном и конечном серверах. информация введенная на исходном отсутствует на конечном
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38130004
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabios,
У вас база которую вы копруете журналируется?
Плчему не хотите использовать журналирование для синхронизации?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38130006
gr_vl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gr_vl,

Постскриптум
если в течении дня надо замороженая копия на утро текущего дня то все равно можно подумать о теневом сервере, только запускать синхронизацию журналов ночью или рано утром (например используя программу через фильтр теневого сервера, с анализом текущего времени. Те до 7 ми утра забирать журналы и обрабатывать а потом до 20.00 не принимать измерений или забирать только журналы приведшего дня). Думаю по соотношению размера журналов к размеру базы стоит подумать об использовании теневого сервер.

По поводу автоматизации копирования, у нас все немного проще замораживание системы не используем а останавливаем каше, копируем базы, запускаем службу каше, запускаем архивацию скопированных баз.
Таким образом минимизируя простой каше.


И еще если есть средства то может подумать о аппаратных средствах для хранения и резервного копирования данных (смотри в сторону построения кластеров).


Григорий
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38130253
vitabios
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
gr_vl,
База журналируется насколько я понимаю.

Как я писал выше мне нужно не средство резервного копирования, а сервер для экспериментов с ПО.
Про теневой сервер - выше писали что он мне не поможет так как база основного сервера будет отличаться от базы резервного сервера (и на основном и на резервном в приложении пользователи производят РАЗНЫЕ действия)
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38130445
doublefint
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabiosсравнивал данные на исходном и конечном серверах. информация введенная на исходном отсутствует на конечном
сравнивал чем? Глобалы, SQL, интерфейс приложения?
...
Рейтинг: 0 / 0
Сжатие бекапов и ускорение восстановления - возможно ли это?
    #38130534
Alexey Maslov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vitabiosсравнивал данные на исходном и конечном серверах. информация введенная на исходном отсутствует на конечномЕсли cache.dat копировали "на ходу", без размонтирования, то запросто: данные могли быть ещё в кэше БД. Если при этом заморозку записи не делали, то и целостность БД могла пострадать (о чём тут уже писали). Разговоры о том, что в 5 утра некому работать, и значит нечего не может сломаться, не убедительны. На 1001 раз сломаться-таки может :(

PS. Когда я экспериментировал с различными методами бакапа, смог получить испорченную целостность скопированной БД, параллельно с копированием запуская в цикле (пере)запись случайных узлов глобала.
...
Рейтинг: 0 / 0
31 сообщений из 31, показаны все 2 страниц
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Сжатие бекапов и ускорение восстановления - возможно ли это?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]