powered by simpleCommunicator - 2.0.37     © 2025 Programmizd 02
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Бэкапы в Cache'
25 сообщений из 27, страница 1 из 2
Бэкапы в Cache'
    #38954133
velmar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
По мотивам сообщения Евгения Шарова, чтобы не засорять офтопиком его тему.
Шваров Евгенийvelmarпропущено...

А что такое "большое приложение" на ваш взгляд?
Когда полный бэкап идет 19 часов а инкрементальный час это большое или маленькое приложение?
Выглядит как большое ) Если у вас не дохлый сервер, конечно.
Кстати, заметили, что в качестве предпочтительного способа бекапа предлагается внешний бекап а не фулл/инкрементал?

Сообщение порождает следующие вопросы:
1. При каких параметрах сервера 19 часов полного бекапа - это большое приложение, а при каких - это дохлый сервер Хотя я бы говорил не о приложениях а об объеме данных.
2. Какие есть аргументы в пользу внешнего бекапа?
3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу?
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38954185
Ptn
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
velmar1. При каких параметрах сервера 19 часов полного бекапа - это большое приложение, а при каких - это дохлый сервер Хотя я бы говорил не о приложениях а об объеме данных.
Бекап по сути копирование с небольшим оверхедом. Какой объем данных может копироваться 19ть часов ?
Думаю немалый, следовательно требования к системе хранения должны быть достаточно хорошие.

Кстати как то сталкивался со случаем когда HDD на который производился бэкап, начал потихоньку сыпать бэд блоками, в результате скорость падала до сотен килобайт в секунду и 17Гб бэкапились часов пять.

Это я к тому что вот эти 19 часов они ни о чем, нужно знать объем данных, параметры системы хранения и уже на основании этого делать какие-либо выводы. Вполне возможно что у вас просто напросто железо виновато.
velmar2. Какие есть аргументы в пользу внешнего бекапа?
IMXO никаких
velmar3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу?
Внешний бэкап подразумевает остановку cache
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38954210
servit
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ptnvelmar2. Какие есть аргументы в пользу внешнего бекапа?
IMXO никаких
velmar3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу?
Внешний бэкап подразумевает остановку cache 13653070
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38954218
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
velmar1. При каких параметрах сервера 19 часов полного бекапа - это большое приложение, а при каких - это дохлый сервер Хотя я бы говорил не о приложениях а об объеме данных.
Действительно, как уже было сказано выше, все сильно зависит от размеров БД, а так же от того как этат бекап делается. При больших размерах БД в несколько терабайт, нужно разумеется и достаточно быстрое хранилище. Но это еще не все. К примеру, при таких размерах, имеет смысл найти и выделить данные которые не меняются на протяжении долгого времени, такие данные можно выделить в отдельную БД и закрыть на запись, и теперь эту БД не требуется бекапить периодически, так как актуальность последнего не теряется. А новые бекапы будут для меньшего объема и выполнятся быстрее. Далее, в нашей практике на версии 2012.2 столкнулись с ошибками работы встроенного бекапа, если выполнять его по сети, у нас было подключено быстрое хранилище на другом сервере и соединение между машинами было достаточно быстрое, но скорость бекапа всего для пары терабайт занимала непозволительно много времени и не успевало выполнится за ночь, и скорость явно была сильно ниже пропускной способности всех элементов.

velmar2. Какие есть аргументы в пользу внешнего бекапа?Если открыть документацию то там можно увидеть такие строки в самом начале.
External backup is currently the recommended best practice for backing up Caché. Т.е. Внешний бекап, на данный момент рекомендуемая лучшая практика для бекапов.

Ptnvelmar3. Каким образом внешний бекап может гарантировать целостность данных датасета без остановки записи в базу?
Внешний бэкап подразумевает остановку cacheНе обязательно, есть снапшоты, которые могут выполнятся на рабочей системе, и есть бекапы с заморозкой записи в БД.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38954237
Ptn
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
servit, & DAiMor

Хорошо про это не подумал.

Но с по хорошему то что запрет записи что отмонтирование базы, с точки зрения работы в области по сути "выключение" приложения, на мягко говоря неопределенный срок.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38954282
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ptnservit, & DAiMor

Хорошо про это не подумал.

Но с по хорошему то что запрет записи что отмонтирование базы, с точки зрения работы в области по сути "выключение" приложения, на мягко говоря неопределенный срок.Опять не верно, замораживание записи не равно замораживание приложения. Да это может произойти если буфер демона записи закончится и он не будет еще разморожен. Но при небольшой БД, и в период наименьшей загруженности можно успеть сделать бекап.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38954297
Ptn
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMor

Я немного не понимаю как метод бэкапа дающий хороший результат только при наличии "using technology external to Cache' such as disk mirroring or snapshots" которые в свою очередь могу накладывать дополнительные ограничения, может является бест практикс :(

Мне кажется это имеет смысл именно на больших БД, за сотни ГБ, когда копирование реально будет долгим.
С другой стороны чем больше БД тем больше шанс что буферов не хватит на время заморозки.
На мой личный взгляд на относительно небольших БД online бэкап выглядит более привлекательно и надежно.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38954990
Шваров Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PtnDAiMor

Я немного не понимаю как метод бэкапа дающий хороший результат только при наличии "using technology external to Cache' such as disk mirroring or snapshots" которые в свою очередь могу накладывать дополнительные ограничения, может является бест практикс :(

Мне кажется это имеет смысл именно на больших БД, за сотни ГБ, когда копирование реально будет долгим.
С другой стороны чем больше БД тем больше шанс что буферов не хватит на время заморозки.
На мой личный взгляд на относительно небольших БД online бэкап выглядит более привлекательно и надежно.
Вот и интересно: а кто реально использует external tools для бэкапа Cache баз?

А с Cache бэкапами: все ли проверяют целостность созданного бекапа? Бывает так, что бекап сделали, а если его восстановить, то будет неверная база. Сталкивались с таким? Как побеждаете?
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38955042
velmar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Попробую ответить всем.
1. Размер датасета 130 ГБ. Не такой уж и большой (получается скорость записи бэкапа примерно 2 МБ/с, тут есть над чем поработать для ускорения)
2. Приложение используется всегда (как это там пишется 24/7) поэтому остановка и отмонтирование не проходит.
3. Выделять не изменяющиеся данные в нашем случае не вариант. При существующей структуре глобалей/глобалов (как кому нравится, мне больше нравится глобаль) сделать это не получиться. Переделывать структуру слишком дорого.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38955076
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
velmar,

Самое простое, зеркало и бекап с него
Зеркало, будет копировать 24/7 данные на другой сервер, что само по себе уже резервирование, и сервер может встать в строй автоматом сразу как упадет основной сервер
ну и бекапы можно делать любым способом, потому что для этого сервера уже не критична круглосуточная работа
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38955128
velmar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
DAiMorvelmar,

Самое простое, зеркало и бекап с него
Зеркало, будет копировать 24/7 данные на другой сервер, что само по себе уже резервирование, и сервер может встать в строй автоматом сразу как упадет основной сервер
ну и бекапы можно делать любым способом, потому что для этого сервера уже не критична круглосуточная работа
Я согласен, это хорошее решение. Но вопрос в стоимости лицензий на такое решение тоже не последний. Какова политика лицензирования у интерсистемс для теневого сервера?
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38955198
Ptn
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
velmar,

Мне все таки кажется что у вас что то с железом или конфигурацией, приведу свой пример.
БД занимает 46Гб
Файл с полный online бэкапом 42Гб
Код: plsql
1.
2.
3.
4.
5.
6.
*** The time is: 2015-05-03 01:30:00 ***
Backup pass 1 complete at 05/03/2015 01:38:32
Backup pass 2 complete at 05/03/2015 01:38:33
Backup pass 3 complete at 05/03/2015 01:38:35

***FINISHED BACKUP***


Выполняется за чуть больше восьми минут, это на обычных SATA дисках, да еще внутри ESXi

19часов это что то неадекватное по моему
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38956199
kalin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ptn,
Для обеспечения надежности данных ставим внешний зеркальный raid на два сервера. На raid хранится вся текущая база. Один сервер всегда выключен. На работающем сервере всегда скриптом делаем ночью backup, скрипт вызывает программу из СУБДsavetofile
 N DELFILE,ResDel,IO,IOT,Desc,names,Res,path,file
 s path="/mnt/Backup/archiv/"
 s zn="error"
 S file=$ZD($H-30,4)
 s file=$p(file,"/",3)_$p(file,"/",2)_$p(file,"/",1)_".gsa"
 s file=path_file
 S ResDel=$ZU(78,23,file) ;erase old file
 s file=$ZD($H,4) ;filename
 s file=$p(file,"/",3)_$p(file,"/",2)_$p(file,"/",1)_".gsa"
 S IO=path_file
 S ResDel=$ZU(78,23,IO_".gz") ;erase old file
 S IOT="RMS" ;???
 s IOPAR="WNU"
 S Desc="BackUp APP REvolution Data" ;description
 S names("Q")=""
 S names("QSet")=""
 S names("USess")=""
 S names("QKas")=""
 S names("Qa")=""
 S names("Qddd")=""

 S Res=$$entry^%GOF(.names,Desc,0)
 s x=$ZF(-1,"gzip "_IO) 
error 
 c IO
 Q
В Backup загоняются только перечисленные глобалы.
Сам Backup создается на внешнем raid и сжимается в архив на текущую дату.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38956201
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kalin,

Вы бы для тех кто не совсем понял ваш код написали, что ваш бекап это просто экспорт указанных глобалов в некий файл, и его архивация. и все это на линуксе.
для тех кто хочет такой путь можно делать наверно не экспорт а копирование глобалов в другую БД, и восстановление быстрее будет.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38956315
kalin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMor,
Здесь приведен код экспорта выбранных глобалов в файл за текущую дату. При необходимости, данный файл восстанавливается в базу. Как правило, нет необходимости каждый день хранить всю базу с программами и данными. Обычно постоянно сохраняются только сами данные, которые нужны в случае их потери по какой либо причине.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38956328
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kalinКак правило, нет необходимости каждый день хранить всю базу с программами и данными.Как правило соотношение программ к данным, такое что, объем программ не существеннен по сравнению с объемом данных. Даже у нас БД с кодом который мы поставляем около 450МБ, обычно объемы данных у нас начинаются с 100ГБ, для проектов которые уже какое то время работают, а так от 20ГБ.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38956546
kalin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
DAiMor,

У нас размер базы примерно 40 гиг. Backup глобалей делается минут 5, в ужатом виде суточный файл "весит" примерно 2 гиг
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38956948
velmar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kalin, Вопрос собственно простой. А что будет в выгруженных данных, если в это время ведется запись данных в выгружаемые глобали?
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38957438
kalin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
velmar,

Мы данные выгружаем ночью, когда никто не работает, соответственно в это время идет и синхронизация серверов
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #38957558
Фотография krvsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kalinМы данные выгружаем ночью, когда никто не работает, соответственно в это время идет и синхронизация серверов
Вспомнился старый анекдот...

- Политбюро решило отправить вас на солнце!
- Так там же температура ооочень высокая, я сгорю.
- В Политбюро не дураки сидят! Вы ночью полетите...
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #39123247
AlexShiryaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!

Спрошу тут, чтобы не заводить новую тему.
У нас размер базы около 600 Гб. До недавнего времени полный бэкап делался на локальный диск, а потом копировался на внешнее устройство по сети. Время бэкапа было около 6-ти часов, что в принципе устраивало.
Но по некоторым причинам перешли на другой сценарий резервного копирования. Бэкап делается напрямую на внешнее хранилище по UNC пути. И время бэкапа возросло в разы (до 18-20 часов). Между сервером и внешним хранилищем сеть в 1 Гбит/сек. Быстродействие записи внешнего хранилища так же достаточно большое (точно сейчас не знаю, но если необходимо, то могу уточнить). Судя по мониторингу сети и диска на внешнем хранилище запись происходит примерно со скоростью 12 мб/сек.
Как-то можно его ускорить? Есть ли какие-то настройки в cache?
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #39123293
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexShiryaev,

А какая версия Cache ?
На самом деле у нас были похожие проблемы при бекапе на сетевой диск скорорость была низкая, точно не скажу причин, но вроде как решение было внутри ядра Cache.
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #39123307
AlexShiryaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Прошу прощения, забыл указать версию:
Cache for Windows (x86-64) 2010.2.7 (Build 1004_0_11142U) Wed Dec 21 2011 15:29:56 EST
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #39123310
Фотография DAiMor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlexShiryaevПрошу прощения, забыл указать версию:
Cache for Windows (x86-64) 2010.2.7 (Build 1004_0_11142U) Wed Dec 21 2011 15:29:56 ESTКак то уж совсем старенькая версия, может стоит попробовать да хотя бы оценить скорость на последней релизной версии 2015.2
...
Рейтинг: 0 / 0
Бэкапы в Cache'
    #39123323
AlexShiryaev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Приложение не наше.
Уточню у разработчиков можно ли хотя бы не для работы, а на копии для оценки времени бэкапа обновить Cache до новой версии.

PS. А можно ли для этого установить новую версию cache и подмонтировать копию базы от старой версии? Проблем не будет? Новая версия поддержит версию старой?
...
Рейтинг: 0 / 0
25 сообщений из 27, страница 1 из 2
Форумы / Caché, Ensemble, DeepSee, MiniM, IRIS, GT.M [игнор отключен] [закрыт для гостей] / Бэкапы в Cache'
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]