Гость
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Сжатие бекапов и ускорение восстановления - возможно ли это? / 25 сообщений из 31, страница 1 из 2
14.12.2012, 22:49
    #38080247
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
Есть 2 вопроса:
1. Можно ли каким то образом сжать бекап при его создании? Бекап баз у нас занимает 34 гигабайта, можно ли как то уменьшить его размер?
2. Можно ли как то ускорить восстановление БД из бекапа. У нас бекап восстанавливается около 40 минут. Может можно указать какие то параметры при восстановлении?
...
Рейтинг: 0 / 0
15.12.2012, 00:48
    #38080323
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabiosЕсть 2 вопроса:
1. Можно ли каким то образом сжать бекап при его создании? Бекап баз у нас занимает 34 гигабайта, можно ли как то уменьшить его размер?
2. Можно ли как то ускорить восстановление БД из бекапа. У нас бекап восстанавливается около 40 минут. Может можно указать какие то параметры при восстановлении?
1. нет
2.быстрый диск, быстрая и большая память, помогут ускорить восстановление

а чем вас не устраивает размер бэкапа, размер бэкапа, приблизительно равен размеру файлов БД которые в него попадают
да и 34 GB не так и много, у нас такие БД наверно на самых мелких проектах, размеры доходят до нескольких терабайт, восстановление правда больше одного дня.
уменьшить размер бекапа, можно уменьшив размер резервируемых данных, выделите наиболее критичные данные, те что должны резервироваться обязательно и часто, то что не критично и не требует частого резервирования можно резервировать иначе (например просто скопировать)
...
Рейтинг: 0 / 0
15.12.2012, 16:31
    #38080574
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
DAiMor,

ясно, спасибо. Не устраивает тем что необходим быстрый перенос и восстановление бекапа на другой сервер (в течении получаса)
...
Рейтинг: 0 / 0
15.12.2012, 17:08
    #38080593
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabiosDAiMor,

ясно, спасибо. Не устраивает тем что необходим быстрый перенос и восстановление бекапа на другой сервер (в течении получаса)
для быстрого переноса, можно обойтись и простым копированием, если сервер живой
...
Рейтинг: 0 / 0
15.12.2012, 17:11
    #38080595
ser_shu
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabios,
восстанавливайте на другой сервер сразу после копирования - тогда только журналы накатить останется.
...
Рейтинг: 0 / 0
15.12.2012, 20:27
    #38080690
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
ser_shu,

поподробнее, бекап делается ночью, утром я прихожу на час раньше остальных и должен успеть сделать восстановление на другом сервере.
...
Рейтинг: 0 / 0
15.12.2012, 20:47
    #38080695
Valeriu
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
Почему если так критично не пользуйтесь теневым сервером ?
...
Рейтинг: 0 / 0
15.12.2012, 21:04
    #38080708
Alexey Maslov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabiosбекап восстанавливается около 40 минут утром я прихожу на час раньше остальных и должен успеть сделать восстановление на другом сервереvitabiosутром я прихожу на час раньше остальных и должен успеть сделать восстановление на другом сервереЕсли сервера связаны 1 Gbps сетью, вы должны успеть, придя на 1.5 часа раньше остальных, если же 100 Mbps - возможно, придётся прийти на 2.5 часа раньше. Если процедура разовая - как-нибудь можно пережить, если постоянная - стоит подумать об автоматизации (хотя бы) копирования *.cbk-файла на другой сервер, чтобы вы пришли утром, а файл вас уже ждал на месте. Программа-максимум - автоматизировать и восстановление, ищите по форуму (и/или в документации) DBREST.
...
Рейтинг: 0 / 0
15.12.2012, 21:55
    #38080728
DAiMor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
Вспомнил что недавно был вопрос об автоматизации восстановления БД, нашел ту тему и оказалась что это вы задавали тот вопрос
какие возникли проблемы с автоматизацией этого процесса ?
...
Рейтинг: 0 / 0
15.12.2012, 23:03
    #38080764
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
DAiMor,

у меня 2 таких приложения, до этого времени автоматизировал первое (DB2/Websphere)
С понедельника начну пробовать второе. Трудности... английская документация, и еще не понял: как мне написать некий батник, который будет сам вводить имя и пароль superuser'а и выполнять DBREST в консоли CACHE?
...
Рейтинг: 0 / 0
19.12.2012, 12:12
    #38084766
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
Максимально быстрый бэкап/восстановление - копирование файла cache.dat :External BackupExternal backup is currently the recommended best practice for backing up Caché. It integrates easily with your existing system backup procedures and typically allows for a zero downtime backup.
источник Для некоторой автоматизации этого процесса можно запланировать задачу типа RunLegacyTask в Менеджере задач Портала. Там же можете задать и логин/пароль, и периодичность выполнения, и многое другое.
Сам код по созданию копии БД с последующим её копированием может быть примерно следующим:  s old=$zu(5)
  s dt=$tr($tr($ZDT($H,8)," ","_"),":","-")
  s file="C:\Backup\cachedat_full_"_dt
  s logfile=file_".log"
  s file=file_".bck"
    
  s p="copy /B /Y "_$ZU(12,"")_"cache.dat "_file
  zn "%SYS"
  d ##class(Backup.General).ExternalFreeze(logfile,"",0)
  s x=$ZF(-1,p)
  d ##class(Backup.General).ExternalThaw(logfile)

  zn oldПроцесс восстановления:
размонтировать БД ;

заменить cache.dat ;

восстановить журналы ;

заново смонтировать БД.

Для External Backup также нужно учитывать, что если у Вас для резервируемой БД включено шифрование, то и полученный бэкап получится тоже зашифрованным, в отличие от Caché Online Backup .
Соответственно, если бэкап будет использоваться на другой системе, то там должен быть либо такой же ключ шифрования, либо нужно будет предварительно воспользоваться утилитой cvencrypt.exe : Considering Database Encryption

Ещё нюансы внешнего резервирования:

10615763

ExternalFreeze

PS: для программной проверки целостности файлов БД/журналов, отдельных глобалов есть ряд методов. Вот некоторые из них:

##class(SYS.Database).SilentIntegrityCheck()

##class(%GlobalEdit).CheckGlobalIntegrity()

##class(%SYS.Journal.File).CheckIntegrity()
...
Рейтинг: 0 / 0
19.12.2012, 13:59
    #38085069
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
servit,

а можно к примеру на горячую скопировать cache.dat c рабочего сервера на резервный? или журналы тоже нужно будет копировать?
можно ли на резервном остановить cache, заменить cache.dat и журналы и запустить cache - будет ли работать?
...
Рейтинг: 0 / 0
19.12.2012, 14:28
    #38085152
Alexey Maslov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
servitзадачу типа RunLegacyTaskА почему именно этого типа? Он был придуман для переноса задач из старого планировщика (Cache 5.0) и к применению в новых задачах не рекомендуется. Вот и документация гласит:class %SYS.Task.RunLegacyTask extends %SYS.Task.Definition

This class provides a way for users of previous versions of Task Manager to easily migrate their tasks which were based on 'ExecuteCode'. It is shown as a 'Task type' in the Task Scheduler Wizard so that users may enter their code there.

Note that all new user-defined tasks should be created by subclassing %SYS.Task.Definition and editing the OnTask() method. See examples in the [SAMPLES]Sample.Task and Sample.Task* classes.
...
Рейтинг: 0 / 0
19.12.2012, 14:34
    #38085165
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabiosа можно к примеру на горячую скопировать cache.dat c рабочего сервера на резервный? или журналы тоже нужно будет копировать?Если с БД никто не работает, то можно. Журналы копировать в этом случае не нужно. Чтобы уже в процессе копирования БД никто не подключился и не начал в ней что-то менять, лучше её предварительно отмонтировать.
vitabiosможно ли на резервном остановить cache, заменить cache.dat и журналы и запустить cache - будет ли работать?Зачем останавливать СУБД? Можно просто отмонтировать/подмонтировать БД. И это значительно быстрее перезагрузки.
...
Рейтинг: 0 / 0
19.12.2012, 15:02
    #38085221
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
Alexey MaslovА почему именно этого типа? Он был придуман для переноса задач из старого планировщика (Cache 5.0) и к применению в новых задачах не рекомендуется.Потому что для ТС это будет на данном этапе проще. Можно, конечно, создать и свой класс для задачи, о чём по ссылке выше есть примечание.
...
Рейтинг: 0 / 0
19.12.2012, 15:12
    #38085246
Alexey Maslov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
servit,

По-видимому, у нас с вами разные представления о простоте :)
Вам кажется, что проще заполнить свойство ExecuteCode, а мне, что проще определить метод OnTask().
...
Рейтинг: 0 / 0
19.12.2012, 15:30
    #38085291
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
servit,

тогда спрошу по другому, можно ли вообще на горячую скопировать файлы ничего не останавливая и не отмонтируя?
...
Рейтинг: 0 / 0
19.12.2012, 16:00
    #38085344
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabiosможно ли вообще на горячую скопировать файлы ничего не останавливая и не отмонтируя? Технически можно: файл cache.dat не блокируется. Но в этом случае нет гарантии целостности данных.
...
Рейтинг: 0 / 0
19.12.2012, 16:07
    #38085350
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
servit,

может задаю глупый вопрос: а чем может грозить это? (потеря целостности)
...
Рейтинг: 0 / 0
19.12.2012, 16:22
    #38085380
Блок А.Н.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
Некоторые данные не будут видеться. Или будут аномалии видимости - так видится, а так нет.
...
Рейтинг: 0 / 0
19.12.2012, 16:27
    #38085396
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabios ,

Пока Вы будете копировать 34 Гб пользователи могут успеть "похозяйничать".
В итоге между началом копирования файла и её концом состояние данных в БД успеет значительно поменяться.
Возможно (не проверял), что и сам процесс долгого копирования файла может СУБД как-то помешать нормально вносить в него изменения.
...
Рейтинг: 0 / 0
19.12.2012, 16:34
    #38085410
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
servit,

Я собираюсь копировать в 5 утра. не думаю что у нас есть такие безбашенные пользователи)
...
Рейтинг: 0 / 0
19.12.2012, 16:54
    #38085457
servit
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabios ,

Поэтому я и написал:servitЧтобы уже в процессе копирования БД никто не подключился и не начал в ней что-то менять, лучше её предварительно отмонтировать.Это для подстраховки на случай, если кому-то всё же не спится.
...
Рейтинг: 0 / 0
29.01.2013, 22:39
    #38129774
vitabios
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
копирование файла cache.dat не помогает, данные не обновляются
...
Рейтинг: 0 / 0
29.01.2013, 23:06
    #38129801
doublefint
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Сжатие бекапов и ускорение восстановления - возможно ли это?
vitabios, как проверяли видимость?
...
Рейтинг: 0 / 0
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Сжатие бекапов и ускорение восстановления - возможно ли это? / 25 сообщений из 31, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]