ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / barman и pg_archivecleanup
14 сообщений из 14, страница 1 из 1
barman и pg_archivecleanup
    #39357873
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Заметил, что barman не после снятия бекапа не производит удаления старых архивлогов.
Можно конечно сделать отдельную джобу на это, но хотелось бы управлять всем с единого сервере barman.
В гугле по postgresql pg_archivecleanup пустота.
или мне следует смотреть в
Код: sql
1.
Pre/post backup hook scripts


Есть ли у кого-нибудь красивые варианты решения.
...
Рейтинг: 0 / 0
30.11.2016, 17:50
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39357894
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
mefman,

Я не совсем понял в чём затык.

У меня barman получает WAL-ы через `archive_command`. Также установлена `wal_keep_segments`, которая говорит базе придерживать сегменты после их архивации. Никаких "задержек с удалением" не возникает.
...
Рейтинг: 0 / 0
30.11.2016, 18:06
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39357930
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
vyegorov,
у меня настроен wal_streaming. это из последней версии бармена
...
Рейтинг: 0 / 0
30.11.2016, 18:32
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39358060
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
mefman,

Тогда какие какие сегменты не удаляются? На мастере?
...
Рейтинг: 0 / 0
30.11.2016, 21:19
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39358191
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
vyegorovmefman,

Тогда какие какие сегменты не удаляются? На мастере?
да. те что создаются парамертом archive_command
...
Рейтинг: 0 / 0
01.12.2016, 09:20
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39358217
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
mefman,

То, что происходит на мастере, barman-у до лампочки. Он отвечает за те WAL-ы, которые были даны ему на хранение — либо через `archive_command`, либо через стриминг. Если у вас `archive_command` сохраняет WAL-ы на мастере (т.е. не отдаёт barman-у, а просто складывает), то как barman может знать об этом?..
...
Рейтинг: 0 / 0
01.12.2016, 09:53
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39358225
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
vyegorovmefman,

То, что происходит на мастере, barman-у до лампочки. Он отвечает за те WAL-ы, которые были даны ему на хранение — либо через `archive_command`, либо через стриминг. Если у вас `archive_command` сохраняет WAL-ы на мастере (т.е. не отдаёт barman-у, а просто складывает), то как barman может знать об этом?..
это понятно. поэтому и интересуюсь вариантами решения.
barman же вызывает pg_basebackup на мастере, может есть возможность вызвать и pg_archivecleanup?
что-то вроде пост-скрипта.
...
Рейтинг: 0 / 0
01.12.2016, 10:03
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39358270
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
mefman,

В данном случае у вас есть 2 независимых архива WAL-ов, один управляется barman-ом, второй вы сделали самостоятельно.
Как управлять дополнительным архивом -- решать вам. Да, можно и через post-backup hook.

Но в целом, ситуация говорит о том, что второе решение об архивировании не до конца продумано.
...
Рейтинг: 0 / 0
01.12.2016, 10:40
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
barman и pg_archivecleanup
    #39934045
Vitus9856
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vitus9856
Гость
vyegorov,
Добрый день. Извините пожалуйста за столь старый топик, но у меня возник вопрос по прочтении этого сообщения:
Если я правильно понимаю, мы на барман хосте указываем через
backup_method = postgres,
streaming_archiver = on
slot_name = barman
что wal-файлы с Postgres нужно запрашивать через streaming, так?
Для чего тогда нужна команда архиваирования archive_command?

И второй вопрос. Если у меня есть команда архивирования
archive_command = 'test ! -f /var/lib/barman/db01/incoming/%f && cp %p /var/lib/barman/db01/incoming/%f'
то я просто копирую данные из каталога WAL-файлов сервера PostgreSQL в какой-то другой (левый для PG) каталог
И чистить этот каталог мне нужно средствами barman?
...
Рейтинг: 0 / 0
04.03.2020, 12:42
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39934075
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
Vitus9856
vyegorov,
Добрый день. Извините пожалуйста за столь старый топик, но у меня возник вопрос по прочтении этого сообщения:
Если я правильно понимаю, мы на барман хосте указываем через
backup_method = postgres,
streaming_archiver = on
slot_name = barman
что wal-файлы с Postgres нужно запрашивать через streaming, так?
Для чего тогда нужна команда архиваирования archive_command?
говоря о barman-е с настроенным слотом, то тут archive_command не нужна (конкретно barman-у). вы можете её использовать для других целей. однако если по какой-то причине команда не будет отрабатывать (возвращать не 0), то WAL-ы не будут удалятся, что может привести к проблемам. можно просто заменить на `archive_command='true'`.

Vitus9856
И второй вопрос. Если у меня есть команда архивирования
archive_command = 'test ! -f /var/lib/barman/db01/incoming/%f && cp %p /var/lib/barman/db01/incoming/%f'
то я просто копирую данные из каталога WAL-файлов сервера PostgreSQL в какой-то другой (левый для PG) каталог
И чистить этот каталог мне нужно средствами barman?
чистить любыми доступными средствами. если этот каталог обслуживает настроенный barman, то он сам переместит WAL-ы в хранилище и будет их подчищать в соответствии с заданной политикой. если это рандомный каталог (предположим что “barman” и “incoming” просто совпадение), то вы должны сами позаботится о политике удаления старых WAL-ов. Собственно, это одна из задач, которые на себя берут утилиты вроде barman, wal-e, wal-g, pgbackrest.
...
Рейтинг: 0 / 0
04.03.2020, 13:04
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39934092
Vitus9856
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vitus9856
Гость
vyegorov,
barman про этот каталог "знает", но не чистит (там сейчас 16 Gb, глубина архива 13 дней). Куда смотреть?
...
Рейтинг: 0 / 0
04.03.2020, 13:24
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39934098
Vitus9856
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vitus9856
Гость
vyegorov, я правильно понимаю, что настроеном streaming archive_command просто должна возвращать exit code = 0, и может ничего не делать?
или все-таки эти wal-файлы в incoming directory нужны?
...
Рейтинг: 0 / 0
04.03.2020, 13:26
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39934176
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
Vitus9856,

Вам надо выбрать один способ доставки логов — либо через слот, либо через архивирование.
Если вы настроили барман на работу со слотом через потоковую репликацию, зачем ему ещё и архивированием дублируете весь поток WAL?
...
Рейтинг: 0 / 0
04.03.2020, 14:32
| Ответить | Цитировать | Написать  
barman и pg_archivecleanup
    #39934293
Vitus9856
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vitus9856
Гость
vyegorov
Vitus9856,

Вам надо выбрать один способ доставки логов — либо через слот, либо через архивирование.
Если вы настроили барман на работу со слотом через потоковую репликацию, зачем ему ещё и архивированием дублируете весь поток WAL?

У меня PG ругался на команду архивирования, я додумался по мануалу добавить такую команду :)
...
Рейтинг: 0 / 0
04.03.2020, 17:27
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / barman и pg_archivecleanup
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=39358225&tid=1994791]:
 0ms
get settings:
 12ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 53ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 42ms
get tp. blocked users:
 1ms
others: 285ms
total:  430ms
созд. / загр.: 430ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]