Как определить отставание слейва от мастера при репликации / PostgreSQL

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как определить отставание слейва от мастера при репликации

14 сообщений из 14, страница 1 из 1

Как определить отставание слейва от мастера при репликации

#39552739

pmb17

Гость

Добрый день.
Есть мастер, есть слейв, между ними настроена репликация. Можно как-то по данным из pg_stat_replications определить на сколько слейв отстает от мастера по времени?
Можно ли по номера транзакций из pg_stat_replications узнать время, когда они были зафиксированы на мастере?

...

Рейтинг:

0 / 0

14.11.2017, 10:57

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39552753

queezy relax

Участник

Сообщения: 99

Рейтинг: 0 / 0

...

Рейтинг:

0 / 0

14.11.2017, 11:16

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39552804

pmb17

Гость

Спасибо, не заметил )

У меня на слейве pg_last_xact_replay_timestamp() ничего не выводит:

Код: sql

1.
2.

postgres=# select pg_last_xact_replay_timestamp();
 pg_last_xact_replay_timestamp

при этом судя по выводу ps процесс восстановления WAL файлов идет.

Код: sql

1.
2.
3.
4.
5.
6.

postgres 28936 28934  0 11:45 ?        00:00:06 postgres: 9.6/slave: startup process   recovering 000000010000004100000094
postgres 28941 28934  0 11:45 ?        00:00:00 postgres: 9.6/slave: checkpointer process   
postgres 28942 28934  0 11:45 ?        00:00:00 postgres: 9.6/slave: writer process   
postgres 28990 28934  0 11:45 ?        00:00:00 postgres: 9.6/slave: stats collector process   
postgres 28991 28934  0 11:45 ?        00:00:08 postgres: 9.6/slave: wal receiver process   streaming 41/94260000
root     30856 26842  0 12:10 pts/5    00:00:00 grep slave

...

Рейтинг:

0 / 0

14.11.2017, 12:16

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39552844

Maxim Boguk

Участник

Откуда: Melbourne, Австралия

Сообщения: 5 148

Рейтинг: 0 / 0

pmb17,

А у вас на мастере пишущие транзакции есть? Так как это именно время проигрывания последней ПИШУЩЕЙ транзакции с мастера, и если мастер ничего не делает - то и показывать нечего.

...

Рейтинг:

0 / 0

14.11.2017, 13:43

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39552852

pmb17

Гость

Да есть, сервер рабочий.

...

Рейтинг:

0 / 0

14.11.2017, 13:52

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39552983

pmb17

Гость

Вообщем не совсем адекватный алгоритм работы этой функции.
Перезапустил слейв, и примерно в течении часа pg_last_xact_replay_timestamp() ничего не возвращал.
Потом вернул дату и время, но в течении для эта дата и время очень медленно менялись. И если пользоваться выражением:
select now() - pg_last_xact_replay_timestamp() то разрыв только увеличивается, хотя на мастере размер pg_xlog начал уменьшаться.

...

Рейтинг:

0 / 0

14.11.2017, 17:21

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553047

vyegorov

Участник

Откуда: Баньоло-ин-Пьяно

Сообщения: 1 237

Рейтинг: 0 / 0

pmb17,

Функция работает адекватно. Другой вопрос — что у вас с репликацией происходит. И почему?..

...

Рейтинг:

0 / 0

14.11.2017, 19:01

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553296

pmb17

Гость

Слейв отстал от мастера на 3 дня, если судить по датам WAL мастера в каталоге pg_xlog.
Размер pg_xlog стал в два раза больше чем размер базы данных.
Вчера начали разбираться в причине - оказалось не хватает скорости VPN канала между серверами. Скорость увеличили, за вчерашний день слейв догнал мастера.

Описываемое поведение pg_last_xact_replay_timestamp() было вчера, когда увеличили пропускную способность VPN соединения.

Есть еще вопрос по теме репликации. На мастере периодически выполняется реиндексация. Если я правильно понимаю, во время работы реиндексации все изменения фиксируются в WAL и потом уходят на слейв. Но по факту эта операция не изменяет самих данных в БД. Можно что-то сделать чтобы результат реиндексации не попадал в данные для реплицирования?

...

Рейтинг:

0 / 0

15.11.2017, 10:40

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553304

Lonepsycho

Участник

Откуда: Siauliai, Литва

Сообщения: 593

Рейтинг: 0 / 0

pmb17,

судя по именам каталогов, у вас не 10. тогда можете использовать hash индексы. они до 10-тки не wal'ятся. правда, какой толк тогда от реплики, не понятно.

...

Рейтинг:

0 / 0

15.11.2017, 10:46

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553353

vyegorov

Участник

Откуда: Баньоло-ин-Пьяно

Сообщения: 1 237

Рейтинг: 0 / 0

pmb17Есть еще вопрос по теме репликации. На мастере периодически выполняется реиндексация. Если я правильно понимаю, во время работы реиндексации все изменения фиксируются в WAL и потом уходят на слейв. Но по факту эта операция не изменяет самих данных в БД. Можно что-то сделать чтобы результат реиндексации не попадал в данные для реплицирования?

Нельзя. Все варианты с отключением WAL-ов на мастере (а-ля UNLOGGED) сделают объекты недоступными на реплике.

...

Рейтинг:

0 / 0

15.11.2017, 11:52

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553520

pmb17

Гость

Lonepsychopmb17,
судя по именам каталогов, у вас не 10. тогда можете использовать hash индексы. они до 10-тки не wal'ятся. правда, какой толк тогда от реплики, не понятно.
у нас работой с БД управляет приложение, индексы изменить не сможем.
Смысл - нужна точная копия БД, возможно без индексов.
Кажется в 10 сделали выборочную репликацию таблиц, возможно это то что нам нужно.

...

Рейтинг:

0 / 0

15.11.2017, 14:06

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553548

Lonepsycho

Участник

Откуда: Siauliai, Литва

Сообщения: 593

Рейтинг: 0 / 0

pmb17,

"возможно без" это уже не "точная копия". как варианты, можете посмотреть pglogical или slony .

...

Рейтинг:

0 / 0

15.11.2017, 14:25

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553621

Maxim Boguk

Участник

Откуда: Melbourne, Австралия

Сообщения: 5 148

Рейтинг: 0 / 0

pmb17Смысл - нужна точная копия БД, возможно без индексов.

Вы уж решите или точная копия или без индексов :). Это противоположные требования.

PS: периодический reindex идея изрядно неудачная лучше разобраться надо ли это и зачем.

...

Рейтинг:

0 / 0

15.11.2017, 15:21

| Ответить | Цитировать | Написать

Как определить отставание слейва от мастера при репликации

#39553752

pmb17

Гость

Maxim BogukPS: периодический reindex идея изрядно неудачная лучше разобраться надо ли это и зачем.

Разбираться наверное с реиндексированием будем но позже. А что неудачного в идее периодического reindex?

...

Рейтинг:

0 / 0

15.11.2017, 17:27

| Ответить | Цитировать | Написать

14 сообщений из 14, страница 1 из 1

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=53&gotonew=1&tid=1996107]:	0ms
get settings:	11ms
get forum list:	17ms
check forum access:	4ms
check topic access:	4ms
track hit:	45ms
get topic data:	13ms
get first new msg:	7ms
get forum data:	3ms
get page messages:	54ms
get tp. blocked users:	2ms
others:	336ms

total:	496ms