Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / где хранить бэкапы? / 25 сообщений из 84, страница 1 из 4
22.08.2017, 12:58
    #39508723
odisssey
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
подскажите какие нынче тенденции, кто где хранит бэкапы?

на сетевых дисках? но во первых вон в Украине был злобный вирус Petya, который на многих фирмах пошифровал все что было на дисках. Во вторых если скорость передачи бэкапов по сети не всегда достаточная.

Лента, мне тут сказали что это вчерашний день, и опять таки станет вопрос о том чтоб перегнать все бэкапы в доступное для забирание лентой место, а это десятки террабайт.

речь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)
Что посоветуете организовать?
на данный момент можно сказать что нет ничего.
...
Рейтинг: 0 / 0
22.08.2017, 13:03
    #39508726
aleksrov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odisssey,

Не хило, 200 терабайт хранить и нет никакой политики.
Мы храним на лентах, ибо руководство решило купить их. Самое главное хранить отдельно от БД, а на чем и в каком виде решать уже вам.
...
Рейтинг: 0 / 0
22.08.2017, 13:05
    #39508729
aleksrov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odisssey но во первых вон в Украине был злобный вирус Petya, который на многих фирмах пошифровал все что было на дисках. Во вторых если скорость передачи бэкапов по сети не всегда достаточная.


Нигде не безопасно. Не давайте пете к вам проникнуть и все будет хорошо.
...
Рейтинг: 0 / 0
22.08.2017, 13:23
    #39508744
komrad
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odissseyречь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)
Что посоветуете организовать?
на данный момент можно сказать что нет ничего.

VTL с компрессией и выгрузкой на ленты впоследствии
но стоить это будет как пол-самолета
...
Рейтинг: 0 / 0
22.08.2017, 13:54
    #39508754
LSV
LSV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odissseyречь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)
Что посоветуете организовать?
на данный момент можно сказать что нет ничего.А бекапы то хоть упакованные ? Крайне ценная фича с 2008 версии.
...
Рейтинг: 0 / 0
22.08.2017, 14:16
    #39508771
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odissseyЛента, мне тут сказали что это вчерашний день, и опять таки станет вопрос о том чтоб перегнать все бэкапы в доступное для забирание лентой место, а это десятки террабайт.

речь идет о бэкапах около 800 баз, с сотни скулей, общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)Для таких размеров может быть и лента.
Ну или СХД большой.

odissseyво первых вон в Украине был злобный вирус Petya, который на многих фирмах пошифровал все что было на дискахА нельзя делать одну точку отказа.
"Не давайте пете к вам проникнуть и все будет хорошо." - гарантированная потеря информации, как обычно бывает, если надёжность сложной системы строится из предположения об отсутствии ошибок во всех её звеньях.

Храните одну копию бакапа на непосредственно серверных дисках каждого рабочего сервера, для быстрого восстановления.

Другую копию бакапа - в отдельном хранилище (ленты или СХД), притом хранение этой копии должна организовывать другая команда, со своим отдельным (не управляемым централизованно) доступом на чтение, и она же должна отвечать за состояние этих бакапов, то есть верифицировать бакапы путём восстановления их на свои, опять же независимые и управляемые отдельно, серверы.
...
Рейтинг: 0 / 0
22.08.2017, 14:20
    #39508776
Alexander Us
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odisssey,

такое предложение:

-бэкапьте сначала на локальный диск* со включённой опцией проверки и компрессией
-затем локально считайте хэш сумм файлов**
-затем с помощью robocopy*** копируйте бэкапы например на сетевой диск
-затем уже там локально снова считайте хэши и сверяйте их с ранее сосчитанными
-затем удаляёте файлы с локального диска

* чтобы исключить ошибки сети и ументшить трафик

** в моей практике был сетевой диск с ~1 неправильным битом на 1ТБ.
При включённой компресии один сломанный бит почти наверняка делает бэкап невостанавливаемым
Кроме того, хэши можно всегда проверить на любом железе не напрягая для этого SQL

*** robocopy позволяет регулировать трафик и продолжает при обрывах
...
Рейтинг: 0 / 0
22.08.2017, 14:40
    #39508787
TaPaK
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odisssey,

петр не трогал ни сетевые диски ни флешки ни вообще примапленые диски, но это не значить что следующие не будут :)
ну и у нас почти все клиенты подненялись из бекапов с минималными потерями. DMZ и тп решают все это
...
Рейтинг: 0 / 0
22.08.2017, 14:52
    #39508792
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
новые на дисках
старые на ленте
...
Рейтинг: 0 / 0
22.08.2017, 14:56
    #39508794
LSV
LSV
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
TaPaKodisssey,

петр не трогал ни сетевые диски ни флешки ни вообще примапленые диски, но это не значить что следующие не будут :)
ну и у нас почти все клиенты подненялись из бекапов с минималными потерями. DMZ и тп решают все этоИх отлично трогал XDATA, который примерно ровестник ВанаКрай.

зы: мы храним бекапы локально и на WinSCP (такой FTP), кот. хостится на линуксе.
...
Рейтинг: 0 / 0
22.08.2017, 15:49
    #39508825
klich
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
>>> общий размер недельных бэкапов около 200 террабайт. (1фулл, 6 дифф, логи)

Это 35 дисков по 6 Тб. С учётом дублирования - требуется 70 дисков. Если хранить бэкапы 4 недели, то необходимо 280 дисков. Плюс штук 20 оперативный запас.

Расходы на диски - около 5 млн. рублей. Плюс 150-200 тыс. ежемесячно на амортизацию (срок службы диска примем за 2-3 года).

Городить крутую петабайтную СХД не обязательно: можно раз в день заливать бэкап на диски, потом вынимать диски и убирать в сейф, наклеив бирку с датой бэкапа. К дискам, лежащим в сейфе, никакой Петя не подберется.

Ну и неплохо бы изучить возможность сжатия бэкапов. 200 Тб - это уже всё максимально сжато? Что вообще такого тяжелого хранится в базах? Если там хранятся огромные неизменные файлы, можно ли их перенести в файловую систему? Но уже должно руководство решать, стоит ли экономия на дисках усилий по оптимизации баз и ПО.
...
Рейтинг: 0 / 0
22.08.2017, 16:09
    #39508837
CrazyDr1v3r
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
HP StoreEver MSL4048-2 - двухдрайвовая библиотека LTO6 на 48 кассет.
...
Рейтинг: 0 / 0
22.08.2017, 16:22
    #39508846
rahzer
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
Несколько площадок, на которых свои СХД, плюс системы EMC Data Domain в пару петабайт+ленты, которые увозятся и хранятся в отведенных местах.
...
Рейтинг: 0 / 0
22.08.2017, 16:28
    #39508852
aleksrov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
alexeyvg,
Я говорил только про петю, если они так его боятся.

У меня на хозяйстве к примеру 15 серверов, больше 100 баз, суммарный обьем террабайта 2.5. Используем ленточную библиотеку и Symantec NetBackup. У каждой резервной копии есть срок хранения а зависимости от ресурса и типа копии (full, diff, log и т.д), к примеру полная хранится месяц, делается раз в неделю. Более того, для особо важных ресурсов раз в неделю делается полная копия, лента извлекается и отправляется в архив в другое здание.
Локально Backup не храним, т.к. место на серверах не очень много, а даже с учетом того что все лежит на лентах мы вполне укладываемся в наше RTO
...
Рейтинг: 0 / 0
22.08.2017, 16:37
    #39508859
klich
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
>>> Более того, для особо важных ресурсов раз в неделю делается полная копия, лента извлекается и отправляется в архив в другое здание.

И сколько времени уйдёт на восстановление такого бэкапа? Пока вы привезете его из другого здания, пока прочитаете ленту, пока убедитесь в целостности данных... А если на полную копию придется ещё накатывать инкрементальные копии? А они тоже на лентах...

Нет, для бэкапов ленты не годятся. Разве что для бэкапов совсем уж маловажных данных.
...
Рейтинг: 0 / 0
22.08.2017, 17:29
    #39508898
aleksrov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
klich,

Эти копии для того чтобы желательно с них никогда не восстанавливаться, и если они понадобятся то Diff'ов не будет.
...
Рейтинг: 0 / 0
22.08.2017, 17:41
    #39508907
iii2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
klich>>> Более того, для особо важных ресурсов раз в неделю делается полная копия, лента извлекается и отправляется в архив в другое здание.

И сколько времени уйдёт на восстановление такого бэкапа? Пока вы привезете его из другого здания, пока прочитаете ленту, пока убедитесь в целостности данных... А если на полную копию придется ещё накатывать инкрементальные копии? А они тоже на лентах...

Нет, для бэкапов ленты не годятся. Разве что для бэкапов совсем уж маловажных данных.
О чем вы говорите???
Скорость записи на кассету Ultrim перевалила за 150 мегабайт в секунду (это если без сжатия, со сжатием - все 300) еще лет 7 назад. Сейчас уже все 300.
И емкость 6 терабайт на кассету.
Единственный резон НЕ хранить бэкапы на лентах - это то, что библиотека это дорого, блин.

У кассеты проблемы с произвольным доступом. А линейно она читает и пишет на уровне RAID10 с 6 шпинделями.
...
Рейтинг: 0 / 0
22.08.2017, 21:39
    #39509041
архивариус
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
iii2Скорость записи на кассету Ultrim перевалила за 150 мегабайт в секунду (это если без сжатия, со сжатием - все 300) еще лет 7 назад. Сейчас уже все 300.
И емкость 6 терабайт на кассету.
Единственный резон НЕ хранить бэкапы на лентах - это то, что библиотека это дорого, блин.

У кассеты проблемы с произвольным доступом. А линейно она читает и пишет на уровне RAID10 с 6 шпинделями.

ленточная библиотека может поддерживать страйп, тогда можно писать читать одновременно на несколько лент, скорость еще в разы повысить
...
Рейтинг: 0 / 0
22.08.2017, 21:54
    #39509050
klich
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
aleksrovЭти копии для того чтобы желательно с них никогда не восстанавливаться, и если они понадобятся то Diff'ов не будет.Тогда это не резервные копии, а что-то другое. Смысл резервной копии именно в том, чтобы с неё максимально быстро восстановиться.

iii2Скорость записи на кассету Ultrim перевалила за 150 мегабайт в секунду (это если без сжатия, со сжатием - все 300) еще лет 7 назад. Сейчас уже все 300. И емкость 6 терабайт на кассету.В данном случае 6 терабайт очевидно не хватит. И вам придётся последовательно засовывать в считыватель несколько десятков кассет (ну либо иметь в резерве несколько десятков считывателей, что дорого). Если потом придётся ещё накатывать инкрементальные копии, то это займет столько времени, что вам разобьют голову раньше, чем вы закончите восстановление.
...
Рейтинг: 0 / 0
22.08.2017, 21:56
    #39509051
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
iii2У кассеты проблемы с произвольным доступом. А линейно она читает и пишет на уровне RAID10 с 6 шпинделями.Речь о том, что её надо откуда то нести.
Если лента уже в библиотеке, то, конечно, скорость будет нормальная.
...
Рейтинг: 0 / 0
22.08.2017, 21:58
    #39509052
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
klichВ данном случае 6 терабайт очевидно не хватит.У них же 200 тб на 100 серверах, не думаю, что много сервером больше чем на 6 тб (может, вообще ни одного).
...
Рейтинг: 0 / 0
22.08.2017, 22:15
    #39509056
Relic Hunter
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
odissseyподскажите какие нынче тенденции, кто где хранит бэкапы?На таких объемах бекапить/ресторить седствами SQL почти не реально в реальном времени. Бекапьте средствами сторожа, снепшоты/политики там разные. Ну плюс зазеркалить сам сторож если денег не жалко. Да, к снепам Петя в обозримом будущем врядли доберется.
...
Рейтинг: 0 / 0
22.08.2017, 22:20
    #39509057
alexeyvg
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
Relic HunterНа таких объемах бекапить/ресторить седствами SQL почти не реально в реальном времени. Бекапьте средствами сторожа, снепшоты/политики там разные.Несколько ТБ нереально? Да ладно, обычный объём, на скорости 1 Гб/сек всего полчаса-час.
...
Рейтинг: 0 / 0
22.08.2017, 22:28
    #39509061
klich
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
Relic Hunterбекапить/ресторить седствами SQL почти не реально в реальном времениБэкапится, разумеется, не основной сервер, а slave-реплика. Основной сервер работает 24х7.
...
Рейтинг: 0 / 0
22.08.2017, 22:30
    #39509062
Relic Hunter
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
где хранить бэкапы?
klich,

Ну дак со снепшотами и реплика не понадобится. Они делаются моментально. Можно сразу на Проде.
...
Рейтинг: 0 / 0
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / где хранить бэкапы? / 25 сообщений из 84, страница 1 из 4
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]