Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / barman WAITING_FOR_WALS / 18 сообщений из 18, страница 1 из 1
10.08.2021, 10:17
    #40089799
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Немного не по теме, но может кто то подскажет, в какую сторону смотреть.
Barman 2.12, PG 12.5

Создается бэкап примерно за 1.5 часа и потом barman list-backup показывает состояние
бэкапа WAITING_FOR_WALS и несколько суток не переходит в DONE.

В чем может быть причина, куда посмотреть? Не нашел на просторах инета
...
Рейтинг: 0 / 0
10.08.2021, 11:20
    #40089814
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
kliff,

проверьте работоспособность того механизма, которым вы сконфигурировали архивирование WAL.
...
Рейтинг: 0 / 0
10.08.2021, 11:26
    #40089817
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Melkij
kliff,

проверьте работоспособность того механизма, которым вы сконфигурировали архивирование WAL.


Можете подробнее сказать? я просто ничем не конфигурировал настройки самого PG и barman стоят умолчательные по поводу архивирования wal
...
Рейтинг: 0 / 0
10.08.2021, 23:59
    #40089976
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
kliff,

так раз вы вообще не настраивали - то о чём вопрос? Берёте документацию barman и настраиваете какой-то из методов архивации wal, их несколько на выбор.
...
Рейтинг: 0 / 0
11.08.2021, 07:57
    #40089993
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Melkij
kliff,

так раз вы вообще не настраивали - то о чём вопрос? Берёте документацию barman и настраиваете какой-то из методов архивации wal, их несколько на выбор.


так раз у меня три сервера с барманом и все имеют дефолтные настройки, только версии бармана разные и нигде больше в этом статусе дампы не висят, а переходят в done? То что?
...
Рейтинг: 0 / 0
11.08.2021, 08:48
    #40090004
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Melkij
kliff,

так раз вы вообще не настраивали - то о чём вопрос? Берёте документацию barman и настраиваете какой-то из методов архивации wal, их несколько на выбор.


единственное что не стандартно, что получение wal настроено через слот репликации, ну и понятно сам сервер бармана настраивался, иначе как бы бэкапы создавались
backup_method = postgres
conninfo = host=10.4... port=5432 user=repl password=...
streaming_conninfo = host=10.4.... port=5432 user=repl password=...
slot_name = barman
streaming_archiver = on

/etc/barman.conf все дефолтно
...
Рейтинг: 0 / 0
11.08.2021, 09:30
    #40090008
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Melkij, сжатие по умолчанию compression = gzip. То есть должен быстро архивировать в теории, получается долго сжимает, но сжимает получается уже 4ре дня
...
Рейтинг: 0 / 0
11.08.2021, 10:21
    #40090016
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
kliff
Melkij
kliff,

так раз вы вообще не настраивали - то о чём вопрос? Берёте документацию barman и настраиваете какой-то из методов архивации wal, их несколько на выбор.


единственное что не стандартно, что получение wal настроено через слот репликации

Ну вот, а говорите ничего не настроено.
Проверьте, что слот действительно существует (pg_replication_slots), что его кто-то читает (там же, плюс pg_stat_replication). Если слот есть, но его никто не читает - проверьте логи базы и бармана.
...
Рейтинг: 0 / 0
11.08.2021, 13:36
    #40090056
big-trot
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
kliff,

barman check - нет ошибок?, всё OK?
...
Рейтинг: 0 / 0
11.08.2021, 15:51
    #40090104
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
big-trot
kliff,

barman check - нет ошибок?, всё OK?

нет ошибок
...
Рейтинг: 0 / 0
11.08.2021, 16:00
    #40090109
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Melkij
kliff
пропущено...


единственное что не стандартно, что получение wal настроено через слот репликации

Ну вот, а говорите ничего не настроено.
Проверьте, что слот действительно существует (pg_replication_slots), что его кто-то читает (там же, плюс pg_stat_replication). Если слот есть, но его никто не читает - проверьте логи базы и бармана.

как может быть ничего не настроено, если я пишу, что бэкап делается, но висит в таком статусе? Я говорил настроено дефолтно все. Слот конечно существует и его читает барман, иначе бы barman check выдал ошибку. Само собой логи просмотрены в первую очередь.
В логе бармана
2021-08-08 07:29:13,633 [2097029] barman.server WARNING: IMPORTANT: this backup is classified as WAITING_FOR_WALS, meaning that Barman has not received yet all the required WAL files for the backup consistency.
This is a common behaviour in concurrent backup scenarios, and Barman automatically set the backup as DONE once all the required WAL files have been archived.

Но это я из документации знаю, что должен перейти в DONE
...
Рейтинг: 0 / 0
11.08.2021, 16:02
    #40090110
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Melkij, несколько раз попробовал, 3 бэкапа сделал все три висят в этом статуса
...
Рейтинг: 0 / 0
11.08.2021, 16:47
    #40090122
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Какие процессы
Код: sql
1.
ps -fu barman
...
Рейтинг: 0 / 0
11.08.2021, 18:37
    #40090137
big-trot
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
kliff,

Надо проверить лог постгреса, возможно был удален вол файл (хотя при слотовой репликации такого не должно быть). Или сравнить последний вол файл полученный барманом с последним вол файлом в постгресе.

А вас кстати крон настроен (barman cron)?
...
Рейтинг: 0 / 0
11.08.2021, 19:14
    #40090144
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
kliff
Слот конечно существует и его читает барман

Исходя из WAITING_FOR_WALS статуса вызывает сомнения это утверждение. Проверьте. Системные вьюхи, которые нужно посмотреть в первую очередь - я обозначил. Если по ним не понимаете, где слот активный, а где его никто не читает - покажите целиком вывод.

kliff
иначе бы barman check выдал ошибку

Хотелось бы верить , но я не вижу здесь какой-либо проверки на то, что архивация wal ещё работает, а не только на пустоту архивной директории. Верификация работы архива wal делается иначе .

kliff
Melkij, несколько раз попробовал, 3 бэкапа сделал все три висят в этом статуса

А смысл перезапускать basebackup, когда вопрос к архиву WAL?

kliff
как может быть ничего не настроено, если я пишу, что бэкап делается, но висит в таком статусе? Я говорил настроено дефолтно все

Вот тут вы писали, что ничего не настраивали:
kliff
я просто ничем не конфигурировал настройки самого PG

Потом говорите, что слот репликации всё же сделали.
kliffединственное что не стандартно, что получение wal настроено через слот репликации
Как надо было угадать, настраивали ли вы archive_command (при том несколькими разными возможными способами) либо streaming_archiver?
...
Рейтинг: 0 / 0
11.08.2021, 19:22
    #40090150
big-trot
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
Melkij,

Насколько я понимаю и это подтверждается практикой, если слот не активный или он не создан, то эта проверка - replication slot будет равна FALSE.

Можно дополнительно проверить выполнив команду ps на стороне сервера и увидеть, например следующую запись

postgres: 9.6/main: wal sender process streaming_barman ps.group.org(46660) streaming 13D7/54D3EDE0
...
Рейтинг: 0 / 0
18.08.2021, 10:25
    #40091409
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
в общем пока ситуация не прояснилась, ничего не перенастраивалось, все сделанные бэкапы перешли сами собой в статус done, новые делаются и переходят в режим done буквально сразу. Анализ данных мониторинга ничего не показал, никаких оверхедов или чего то подобного не было. Наблюдаю дальше
...
Рейтинг: 0 / 0
18.08.2021, 10:26
    #40091412
kliff
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
barman WAITING_FOR_WALS
big-trot
Melkij,

Насколько я понимаю и это подтверждается практикой, если слот не активный или он не создан, то эта проверка - replication slot будет равна FALSE.

Можно дополнительно проверить выполнив команду ps на стороне сервера и увидеть, например следующую запись

postgres: 9.6/main: wal sender process streaming_barman ps.group.org(46660) streaming 13D7/54D3EDE0


тоже ни разу не сталкивался с иной ситуацией. При проблемах со слотом, check всегда показывал ошибку
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / barman WAITING_FOR_WALS / 18 сообщений из 18, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]