Господа, подскажите советом!

Есть PostgerSQL, который настроен в режиме Master-Slave (pg_basebackup) + master и slave копируются скриптом pg_dump на сервер бекапа через ssh.
Сервер бекапа всего 2.4 Терабайта, а размер БД уже 180 Гигабайт.
Сжатие gzip (самый быстрый по тестам) занимает 10 часов! и недалек час когда время следующего бекапа наступит раньше момента окончания архивирования предыдущего.

Как оптимизировать этот процесс? (бекапить Postgres в сжатом виде за меньшее кол-во времени)

g2099599g2099599
за 2 часа 15 мин

Она бекапится у меня за 40 минут и весит 180 гб, но gzip потом работает 10 часов (сжимает до 67Г)! Вот в чем проблема

AlexiusTemplar123,

сжимать в несколько потоков, например pbzip2 или чем-то подобным.

неплохая идея - протестирую и отпишусь!

g2099599Templar123,




база 171G бэкапится за 1 час 15 мин, размер бэкапа 10.8G

Это бекап только таблиц? в mane написано что нет гарантий удачного восстановления такого дампа

Maxim BogukTemplar123пропущено...


Она бекапится у меня за 40 минут и весит 180 гб, но gzip потом работает 10 часов (сжимает до 67Г)! Вот в чем проблема

Вам уже написали или используйте параллельный архиватор на 8-16 ядер (pbzip2 -2 или -4)
или pg_dump -F d -j (8-16) для параллельного сжатия и dump на уровне pg_dump.


--
Maxim Boguk
www.postgresql-consulting.ru

Можно пример, что я не так делаю? (загуглить ничего похожего не получается)

pg_dump -U user db_name -F d -j 16 > /path/to/dir/test.db
pg_dump: [directory archiver] no output directory specified

Всем спасибо.
Решил вопрос.

Вот таким образом в скрипте бекапа:
pbzip2 -k -v -p4

Архивирует за 75 минут, сжимает 180г до 55 (кстати меньше чем gzip)