Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Медленный накат WAL-логов на стендбае / 6 сообщений из 6, страница 1 из 1
08.09.2017, 14:40
    #39518220
vovan21rus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Медленный накат WAL-логов на стендбае
Привет, коллеги, подскажите, пожалуйста, можно ли увеличить скорость накатывания WAL-логов на хот стендбай при использовании потоковой репликации? Сейчас один WAL-лог накатывается за ~10 секунд.
Сами логи и дата-файлы находятся на ssd, версия постгреса - 9.6.5, версия ОС - CentOS 6.9. Буду благодарен за любые подсказки!
...
Рейтинг: 0 / 0
08.09.2017, 15:34
    #39518285
daevy
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Медленный накат WAL-логов на стендбае
vovan21rus,

процесс наката логов может упираться в одно процессорное ядро, посмотрите на утилизацию cpu этим процессом, нет ли там 100%. ну и заодно утилизацию дисков гляньте.
...
Рейтинг: 0 / 0
08.09.2017, 15:35
    #39518286
vovan21rus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Медленный накат WAL-логов на стендбае
Процессор не нагружен вообще, а на дисках видна слабая запись, они не нагружены, очередей тоже нет.
...
Рейтинг: 0 / 0
08.09.2017, 15:42
    #39518297
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Медленный накат WAL-логов на стендбае
vovan21rusПроцессор не нагружен вообще, а на дисках видна слабая запись, они не нагружены, очередей тоже нет.

1)А на standby какие то запросы или активность есть в это время? Или он чисты резерв?

2)Если сделать ps axu | grep 'startup process'
то будет просто что то вида
postgres 2131 3.4 0.0 223686584 112168 ? Ss Aug25 692:37 postgres: startup process recovering 000000010000B4B2000000D1
или там еще будет (waiting/paused) ?

3)если взять PID от предыдущей команды и сделать top -p [PID] то там будет 0% CPU или 100% CPU или что то посередине?

4)iostat -xmd 10 строчек 5 покажите первых

5)сколько у вас shared_buffers на реплике?

6)не делаете ли вы часто (чаще раза в минуту) drop table/truncate table/разнообразные alter table на мастере?

PS: нормальный сервер прожевывает 10-100 wal log в секунду.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
08.09.2017, 15:49
    #39518303
vovan21rus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Медленный накат WAL-логов на стендбае
1) стендбай только резервирует и не открыт для чтения
2) Только recovering
3) ~10%
4)
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdc 0.01 2794.83 22.80 1003.25 0.27 14.84 30.15 0.92 0.90 0.57 0.91 0.38 38.64
sdc 0.00 5169.50 0.00 1782.30 0.00 27.16 31.21 1.00 0.56 0.00 0.56 0.54 95.43
sdc 0.00 3481.90 0.20 1011.30 0.00 17.55 35.54 0.56 0.56 10.00 0.56 0.51 51.24
sdc 0.00 4829.40 0.00 1668.10 0.00 25.38 31.16 0.97 0.58 0.00 0.58 0.56 93.96


5) 64 ГБ
6) Нет, все транзакции - сферические транзакции олтп-системы вставки/обновления/мелкие удаления
...
Рейтинг: 0 / 0
08.09.2017, 15:57
    #39518306
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Медленный накат WAL-логов на стендбае
vovan21rus1) стендбай только резервирует и не открыт для чтения
2) Только recovering
3) ~10%
4)
Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sdc 0.01 2794.83 22.80 1003.25 0.27 14.84 30.15 0.92 0.90 0.57 0.91 0.38 38.64
sdc 0.00 5169.50 0.00 1782.30 0.00 27.16 31.21 1.00 0.56 0.00 0.56 0.54 95.43
sdc 0.00 3481.90 0.20 1011.30 0.00 17.55 35.54 0.56 0.56 10.00 0.56 0.51 51.24
sdc 0.00 4829.40 0.00 1668.10 0.00 25.38 31.16 0.97 0.58 0.00 0.58 0.56 93.96


5) 64 ГБ
6) Нет, все транзакции - сферические транзакции олтп-системы вставки/обновления/мелкие удаления

По данным что вы привели - у вас все упирается в скорость записи на диски на реплике.
У вас аппаратная конфигурация мастера и реплики одинакова?
Нет ли ситуации что на мастере SSD например быстрые а на реплике SATA в 1000 раз медленнее?

Попробуйте отключить synchronous_commit на реплике для теста, если поможет - станет понятнее.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Медленный накат WAL-логов на стендбае / 6 сообщений из 6, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]