powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
10 сообщений из 10, страница 1 из 1
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39718299
unix196
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем добрый вечер. Возник такой вопрос: есть сервер1, на котором делаются бекапы утилитой pg_probackup (версии 9.5, 9.6). Есть сервер2, который по rsync с флагами -p -r -t -delete полностью синхронизируется с папкой бекапов сервера1. Данная схема успешно работала несколько месяцев. Теперь возникла ситуация, что на сервере1 стало мало места для бекапов (к примеру пока влезает 4 месячных полных бекапа + инкременты за каждый день), на втором сервере2 такой проблемы нет (собственно он и используется как бекап сервер).
Возникла мысль убрать флаг delete у rsync (т.е. при удалении файла на источнике, на приемнике файл останется) - т.е. не будет зеркальной копии на приемнике. На сервере1 через pg_probackup вести одну политику резервного копирования, например, хранить бекапы только за последний месяц; на сервере2 - другую, после прогона rsync удалять бекап через pg_probackup, например, старше 6 месяцев. Также по идее в схеме учавствует сервер3 (бекап-бекапа), который по rsync сливает данные с сервера2, там тоже планируется своя политика хранения бекапов postgresql (все через ту же утилиту pg_probackup).

Вопрос - будут ли после этого бекапы на сервере2/сервере3 валидные? Например, в голову приходит какой-то такой вариант:
на источнике удалились какие-то старые бекапы, также pg_probackup изменила какой-то файл на источнике, который, например, ранее указывал на один файл, теперь будет указывать на другой. После rsync на сервере2 появится этот измененный файл и вдруг получится так, что все файлы есть, но сама утилита их уже просто не увидит
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39718330
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
select version()
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39718525
unix196
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость

PostgreSQL 9.5.13 on x86_64-pc-linux-gnu (Debian 9.5.13-2.pgdg90+1), compiled by gcc (Debian 6.3.0-18+deb9u1) 6.3.0 20170516, 64-bit
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39718715
Синий Слон
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pg_probackup - не стандартная штука, к сожалению или к счастью в PostgreSQL не входит, думаю.
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39718756
unix196
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
посмотрел внимательно структуру папок полных и инкрементных - визуально ничего не мешает реализовать такую схему.
авторpg_probackup - не стандартная штука, к сожалению или к счастью в PostgreSQL не входит, думаю.
Может и не стандартная, но очень хороша! в частности инкременты очень маленькие в отличие от того же barman, например.
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39785490
MakPol
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрейшего времени суток!
Думаю как бы умудриться ограничить скорость резервного копирования используя pg_probackup. в pg_basebackup это делается параметром и можно указать скорость, а как тут быть? Никто не сталкивался с такой необходимостью?
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39785500
Rutra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
MakPol,
В pg_probackup такой возможности нет.
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39785655
MakPol
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Крайне печально. Когда база весит дофига и нагрузка на диски итак приличная, даже на реплике, то эта опция мягко скажем нужна. Печально когда разработка далека от продакшн, где действительно есть нагрузка, а не синтетика
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39786154
unix196Вопрос - будут ли после этого бекапы на сервере2/сервере3 валидные? Например, в голову приходит какой-то такой вариант:
на источнике удалились какие-то старые бекапы, также pg_probackup изменила какой-то файл на источнике, который, например, ранее указывал на один файл, теперь будет указывать на другой. После rsync на сервере2 появится этот измененный файл и вдруг получится так, что все файлы есть, но сама утилита их уже просто не увидит

Проблем быть не должно. Вы всегда можете провалидировать бэкап с помощью команды validate, более того, по умолчанию перед restore бэкап принудительно валидируется. Валидация обнаружит изменение файлов в бэкапе.
У нас скоро (в течении пары недель) выйдет релиз с дистанционным бэкапом и эти приседания с rsync станут не нужны.
...
Рейтинг: 0 / 0
бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
    #39786160
MakPolКрайне печально. Когда база весит дофига и нагрузка на диски итак приличная, даже на реплике, то эта опция мягко скажем нужна. Печально когда разработка далека от продакшн, где действительно есть нагрузка, а не синтетика

Как-то даже обидно, разработка pg_probackup завязана на эксплуатацию довольно плотно.
Мы считает троттлинг низкоприоритетной задачей, потому что:
1) Инкрементальные бэкапы потребляет мало I/O. Комбинируя инкрементальные бэкапы с merge пользователь может обойтись вообще без FULL бэкапов, не считая самого первого.
2) Бэкапят обычно с реплики, которая нагружена куда меньше
3) С текущими мощностям(NVME, дешевая память и т.д. и т.п.) часто стоит проблема их полной утилизации, а не троттлинг.
3) Как паллиативное решение, можно просто запустить бэкап в один поток.
...
Рейтинг: 0 / 0
10 сообщений из 10, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / бекап базы через pg_probackup и дальнейшее копирование по rsync на удаленный узел
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]