|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
По мотивам сообщения Евгения Шарова, чтобы не засорять офтопиком его тему. Шваров Евгенийvelmarпропущено... А что такое "большое приложение" на ваш взгляд? Когда полный бэкап идет 19 часов а инкрементальный час это большое или маленькое приложение? Выглядит как большое ) Если у вас не дохлый сервер, конечно. Кстати, заметили, что в качестве предпочтительного способа бекапа предлагается внешний бекап а не фулл/инкрементал? Сообщение порождает следующие вопросы: 1. При каких параметрах сервера 19 часов полного бекапа - это большое приложение, а при каких - это дохлый сервер Хотя я бы говорил не о приложениях а об объеме данных. 2. Какие есть аргументы в пользу внешнего бекапа? 3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 00:20 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
velmar1. При каких параметрах сервера 19 часов полного бекапа - это большое приложение, а при каких - это дохлый сервер Хотя я бы говорил не о приложениях а об объеме данных. Бекап по сути копирование с небольшим оверхедом. Какой объем данных может копироваться 19ть часов ? Думаю немалый, следовательно требования к системе хранения должны быть достаточно хорошие. Кстати как то сталкивался со случаем когда HDD на который производился бэкап, начал потихоньку сыпать бэд блоками, в результате скорость падала до сотен килобайт в секунду и 17Гб бэкапились часов пять. Это я к тому что вот эти 19 часов они ни о чем, нужно знать объем данных, параметры системы хранения и уже на основании этого делать какие-либо выводы. Вполне возможно что у вас просто напросто железо виновато. velmar2. Какие есть аргументы в пользу внешнего бекапа? IMXO никаких velmar3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу? Внешний бэкап подразумевает остановку cache ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 08:38 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
Ptnvelmar2. Какие есть аргументы в пользу внешнего бекапа? IMXO никаких velmar3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу? Внешний бэкап подразумевает остановку cache 13653070 ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 09:18 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
velmar1. При каких параметрах сервера 19 часов полного бекапа - это большое приложение, а при каких - это дохлый сервер Хотя я бы говорил не о приложениях а об объеме данных. Действительно, как уже было сказано выше, все сильно зависит от размеров БД, а так же от того как этат бекап делается. При больших размерах БД в несколько терабайт, нужно разумеется и достаточно быстрое хранилище. Но это еще не все. К примеру, при таких размерах, имеет смысл найти и выделить данные которые не меняются на протяжении долгого времени, такие данные можно выделить в отдельную БД и закрыть на запись, и теперь эту БД не требуется бекапить периодически, так как актуальность последнего не теряется. А новые бекапы будут для меньшего объема и выполнятся быстрее. Далее, в нашей практике на версии 2012.2 столкнулись с ошибками работы встроенного бекапа, если выполнять его по сети, у нас было подключено быстрое хранилище на другом сервере и соединение между машинами было достаточно быстрое, но скорость бекапа всего для пары терабайт занимала непозволительно много времени и не успевало выполнится за ночь, и скорость явно была сильно ниже пропускной способности всех элементов. velmar2. Какие есть аргументы в пользу внешнего бекапа?Если открыть документацию то там можно увидеть такие строки в самом начале. External backup is currently the recommended best practice for backing up Caché. Т.е. Внешний бекап, на данный момент рекомендуемая лучшая практика для бекапов. Ptnvelmar3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу? Внешний бэкап подразумевает остановку cacheНе обязательно, есть снапшоты, которые могут выполнятся на рабочей системе, и есть бекапы с заморозкой записи в БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 09:27 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
servit, & DAiMor Хорошо про это не подумал. Но с по хорошему то что запрет записи что отмонтирование базы, с точки зрения работы в области по сути "выключение" приложения, на мягко говоря неопределенный срок. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 09:51 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
Ptnservit, & DAiMor Хорошо про это не подумал. Но с по хорошему то что запрет записи что отмонтирование базы, с точки зрения работы в области по сути "выключение" приложения, на мягко говоря неопределенный срок.Опять не верно, замораживание записи не равно замораживание приложения. Да это может произойти если буфер демона записи закончится и он не будет еще разморожен. Но при небольшой БД, и в период наименьшей загруженности можно успеть сделать бекап. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 10:23 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
DAiMor Я немного не понимаю как метод бэкапа дающий хороший результат только при наличии "using technology external to Cache' such as disk mirroring or snapshots" которые в свою очередь могу накладывать дополнительные ограничения, может является бест практикс :( Мне кажется это имеет смысл именно на больших БД, за сотни ГБ, когда копирование реально будет долгим. С другой стороны чем больше БД тем больше шанс что буферов не хватит на время заморозки. На мой личный взгляд на относительно небольших БД online бэкап выглядит более привлекательно и надежно. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 10:35 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
PtnDAiMor Я немного не понимаю как метод бэкапа дающий хороший результат только при наличии "using technology external to Cache' such as disk mirroring or snapshots" которые в свою очередь могу накладывать дополнительные ограничения, может является бест практикс :( Мне кажется это имеет смысл именно на больших БД, за сотни ГБ, когда копирование реально будет долгим. С другой стороны чем больше БД тем больше шанс что буферов не хватит на время заморозки. На мой личный взгляд на относительно небольших БД online бэкап выглядит более привлекательно и надежно. Вот и интересно: а кто реально использует external tools для бэкапа Cache баз? А с Cache бэкапами: все ли проверяют целостность созданного бекапа? Бывает так, что бекап сделали, а если его восстановить, то будет неверная база. Сталкивались с таким? Как побеждаете? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 19:09 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
Попробую ответить всем. 1. Размер датасета 130 ГБ. Не такой уж и большой (получается скорость записи бэкапа примерно 2 МБ/с, тут есть над чем поработать для ускорения) 2. Приложение используется всегда (как это там пишется 24/7) поэтому остановка и отмонтирование не проходит. 3. Выделять не изменяющиеся данные в нашем случае не вариант. При существующей структуре глобалей/глобалов (как кому нравится, мне больше нравится глобаль) сделать это не получиться. Переделывать структуру слишком дорого. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 20:19 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
velmar, Самое простое, зеркало и бекап с него Зеркало, будет копировать 24/7 данные на другой сервер, что само по себе уже резервирование, и сервер может встать в строй автоматом сразу как упадет основной сервер ну и бекапы можно делать любым способом, потому что для этого сервера уже не критична круглосуточная работа ... |
|||
:
Нравится:
Не нравится:
|
|||
08.05.2015, 21:13 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
DAiMorvelmar, Самое простое, зеркало и бекап с него Зеркало, будет копировать 24/7 данные на другой сервер, что само по себе уже резервирование, и сервер может встать в строй автоматом сразу как упадет основной сервер ну и бекапы можно делать любым способом, потому что для этого сервера уже не критична круглосуточная работа Я согласен, это хорошее решение. Но вопрос в стоимости лицензий на такое решение тоже не последний. Какова политика лицензирования у интерсистемс для теневого сервера? ... |
|||
:
Нравится:
Не нравится:
|
|||
09.05.2015, 03:12 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
velmar, Мне все таки кажется что у вас что то с железом или конфигурацией, приведу свой пример. БД занимает 46Гб Файл с полный online бэкапом 42Гб Код: plsql 1. 2. 3. 4. 5. 6.
Выполняется за чуть больше восьми минут, это на обычных SATA дисках, да еще внутри ESXi 19часов это что то неадекватное по моему ... |
|||
:
Нравится:
Не нравится:
|
|||
09.05.2015, 16:16 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
Ptn, Для обеспечения надежности данных ставим внешний зеркальный raid на два сервера. На raid хранится вся текущая база. Один сервер всегда выключен. На работающем сервере всегда скриптом делаем ночью backup, скрипт вызывает программу из СУБДsavetofile N DELFILE,ResDel,IO,IOT,Desc,names,Res,path,file s path="/mnt/Backup/archiv/" s zn="error" S file=$ZD($H-30,4) s file=$p(file,"/",3)_$p(file,"/",2)_$p(file,"/",1)_".gsa" s file=path_file S ResDel=$ZU(78,23,file) ;erase old file s file=$ZD($H,4) ;filename s file=$p(file,"/",3)_$p(file,"/",2)_$p(file,"/",1)_".gsa" S IO=path_file S ResDel=$ZU(78,23,IO_".gz") ;erase old file S IOT="RMS" ;??? s IOPAR="WNU" S Desc="BackUp APP REvolution Data" ;description S names("Q")="" S names("QSet")="" S names("USess")="" S names("QKas")="" S names("Qa")="" S names("Qddd")="" S Res=$$entry^%GOF(.names,Desc,0) s x=$ZF(-1,"gzip "_IO) error c IO Q В Backup загоняются только перечисленные глобалы. Сам Backup создается на внешнем raid и сжимается в архив на текущую дату. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.05.2015, 11:23 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
kalin, Вы бы для тех кто не совсем понял ваш код написали, что ваш бекап это просто экспорт указанных глобалов в некий файл, и его архивация. и все это на линуксе. для тех кто хочет такой путь можно делать наверно не экспорт а копирование глобалов в другую БД, и восстановление быстрее будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.05.2015, 11:25 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
DAiMor, Здесь приведен код экспорта выбранных глобалов в файл за текущую дату. При необходимости, данный файл восстанавливается в базу. Как правило, нет необходимости каждый день хранить всю базу с программами и данными. Обычно постоянно сохраняются только сами данные, которые нужны в случае их потери по какой либо причине. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.05.2015, 12:28 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
kalinКак правило, нет необходимости каждый день хранить всю базу с программами и данными.Как правило соотношение программ к данным, такое что, объем программ не существеннен по сравнению с объемом данных. Даже у нас БД с кодом который мы поставляем около 450МБ, обычно объемы данных у нас начинаются с 100ГБ, для проектов которые уже какое то время работают, а так от 20ГБ. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.05.2015, 12:34 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
DAiMor, У нас размер базы примерно 40 гиг. Backup глобалей делается минут 5, в ужатом виде суточный файл "весит" примерно 2 гиг ... |
|||
:
Нравится:
Не нравится:
|
|||
12.05.2015, 14:52 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
kalin, Вопрос собственно простой. А что будет в выгруженных данных, если в это время ведется запись данных в выгружаемые глобали? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 02:19 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
velmar, Мы данные выгружаем ночью, когда никто не работает, соответственно в это время идет и синхронизация серверов ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 13:28 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
kalinМы данные выгружаем ночью, когда никто не работает, соответственно в это время идет и синхронизация серверов Вспомнился старый анекдот... - Политбюро решило отправить вас на солнце! - Так там же температура ооочень высокая, я сгорю. - В Политбюро не дураки сидят! Вы ночью полетите... ... |
|||
:
Нравится:
Не нравится:
|
|||
13.05.2015, 14:24 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
Добрый день! Спрошу тут, чтобы не заводить новую тему. У нас размер базы около 600 Гб. До недавнего времени полный бэкап делался на локальный диск, а потом копировался на внешнее устройство по сети. Время бэкапа было около 6-ти часов, что в принципе устраивало. Но по некоторым причинам перешли на другой сценарий резервного копирования. Бэкап делается напрямую на внешнее хранилище по UNC пути. И время бэкапа возросло в разы (до 18-20 часов). Между сервером и внешним хранилищем сеть в 1 Гбит/сек. Быстродействие записи внешнего хранилища так же достаточно большое (точно сейчас не знаю, но если необходимо, то могу уточнить). Судя по мониторингу сети и диска на внешнем хранилище запись происходит примерно со скоростью 12 мб/сек. Как-то можно его ускорить? Есть ли какие-то настройки в cache? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2015, 14:18 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
AlexShiryaev, А какая версия Cache ? На самом деле у нас были похожие проблемы при бекапе на сетевой диск скорорость была низкая, точно не скажу причин, но вроде как решение было внутри ядра Cache. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2015, 14:57 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
Прошу прощения, забыл указать версию: Cache for Windows (x86-64) 2010.2.7 (Build 1004_0_11142U) Wed Dec 21 2011 15:29:56 EST ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2015, 15:07 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
AlexShiryaevПрошу прощения, забыл указать версию: Cache for Windows (x86-64) 2010.2.7 (Build 1004_0_11142U) Wed Dec 21 2011 15:29:56 ESTКак то уж совсем старенькая версия, может стоит попробовать да хотя бы оценить скорость на последней релизной версии 2015.2 ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2015, 15:10 |
|
Бэкапы в Cache'
|
|||
---|---|---|---|
#18+
Приложение не наше. Уточню у разработчиков можно ли хотя бы не для работы, а на копии для оценки времени бэкапа обновить Cache до новой версии. PS. А можно ли для этого установить новую версию cache и подмонтировать копию базы от старой версии? Проблем не будет? Новая версия поддержит версию старой? ... |
|||
:
Нравится:
Не нравится:
|
|||
08.12.2015, 15:17 |
|
|
start [/forum/topic.php?fid=39&fpage=12&tid=1556555]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
59ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
52ms |
get tp. blocked users: |
2ms |
others: | 308ms |
total: | 472ms |
0 / 0 |