|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
Всем добрый вечер. Возник такой вопрос: есть сервер1, на котором делаются бекапы утилитой pg_probackup (версии 9.5, 9.6). Есть сервер2, который по rsync с флагами -p -r -t -delete полностью синхронизируется с папкой бекапов сервера1. Данная схема успешно работала несколько месяцев. Теперь возникла ситуация, что на сервере1 стало мало места для бекапов (к примеру пока влезает 4 месячных полных бекапа + инкременты за каждый день), на втором сервере2 такой проблемы нет (собственно он и используется как бекап сервер). Возникла мысль убрать флаг delete у rsync (т.е. при удалении файла на источнике, на приемнике файл останется) - т.е. не будет зеркальной копии на приемнике. На сервере1 через pg_probackup вести одну политику резервного копирования, например, хранить бекапы только за последний месяц; на сервере2 - другую, после прогона rsync удалять бекап через pg_probackup, например, старше 6 месяцев. Также по идее в схеме учавствует сервер3 (бекап-бекапа), который по rsync сливает данные с сервера2, там тоже планируется своя политика хранения бекапов postgresql (все через ту же утилиту pg_probackup). Вопрос - будут ли после этого бекапы на сервере2/сервере3 валидные? Например, в голову приходит какой-то такой вариант: на источнике удалились какие-то старые бекапы, также pg_probackup изменила какой-то файл на источнике, который, например, ранее указывал на один файл, теперь будет указывать на другой. После rsync на сервере2 появится этот измененный файл и вдруг получится так, что все файлы есть, но сама утилита их уже просто не увидит ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2018, 17:04 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
select version() ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2018, 17:29 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
PostgreSQL 9.5.13 on x86_64-pc-linux-gnu (Debian 9.5.13-2.pgdg90+1), compiled by gcc (Debian 6.3.0-18+deb9u1) 6.3.0 20170516, 64-bit ... |
|||
:
Нравится:
Не нравится:
|
|||
17.10.2018, 06:58 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
pg_probackup - не стандартная штука, к сожалению или к счастью в PostgreSQL не входит, думаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.10.2018, 12:41 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
посмотрел внимательно структуру папок полных и инкрементных - визуально ничего не мешает реализовать такую схему. авторpg_probackup - не стандартная штука, к сожалению или к счастью в PostgreSQL не входит, думаю. Может и не стандартная, но очень хороша! в частности инкременты очень маленькие в отличие от того же barman, например. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.10.2018, 13:27 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
Добрейшего времени суток! Думаю как бы умудриться ограничить скорость резервного копирования используя pg_probackup. в pg_basebackup это делается параметром и можно указать скорость, а как тут быть? Никто не сталкивался с такой необходимостью? ... |
|||
:
Нравится:
Не нравится:
|
|||
13.03.2019, 16:51 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
MakPol, В pg_probackup такой возможности нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
13.03.2019, 17:12 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
Крайне печально. Когда база весит дофига и нагрузка на диски итак приличная, даже на реплике, то эта опция мягко скажем нужна. Печально когда разработка далека от продакшн, где действительно есть нагрузка, а не синтетика ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 08:03 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
unix196Вопрос - будут ли после этого бекапы на сервере2/сервере3 валидные? Например, в голову приходит какой-то такой вариант: на источнике удалились какие-то старые бекапы, также pg_probackup изменила какой-то файл на источнике, который, например, ранее указывал на один файл, теперь будет указывать на другой. После rsync на сервере2 появится этот измененный файл и вдруг получится так, что все файлы есть, но сама утилита их уже просто не увидит Проблем быть не должно. Вы всегда можете провалидировать бэкап с помощью команды validate, более того, по умолчанию перед restore бэкап принудительно валидируется. Валидация обнаружит изменение файлов в бэкапе. У нас скоро (в течении пары недель) выйдет релиз с дистанционным бэкапом и эти приседания с rsync станут не нужны. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 17:03 |
|
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
|
|||
---|---|---|---|
#18+
MakPolКрайне печально. Когда база весит дофига и нагрузка на диски итак приличная, даже на реплике, то эта опция мягко скажем нужна. Печально когда разработка далека от продакшн, где действительно есть нагрузка, а не синтетика Как-то даже обидно, разработка pg_probackup завязана на эксплуатацию довольно плотно. Мы считает троттлинг низкоприоритетной задачей, потому что: 1) Инкрементальные бэкапы потребляет мало I/O. Комбинируя инкрементальные бэкапы с merge пользователь может обойтись вообще без FULL бэкапов, не считая самого первого. 2) Бэкапят обычно с реплики, которая нагружена куда меньше 3) С текущими мощностям(NVME, дешевая память и т.д. и т.п.) часто стоит проблема их полной утилизации, а не троттлинг. 3) Как паллиативное решение, можно просто запустить бэкап в один поток. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.03.2019, 17:10 |
|
|
start [/forum/topic.php?fid=53&fpage=43&tid=1995293]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
40ms |
get topic data: |
14ms |
get forum data: |
3ms |
get page messages: |
50ms |
get tp. blocked users: |
2ms |
others: | 265ms |
total: | 407ms |
0 / 0 |