ReSQL.ru
     
powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Отставание репликации и обрываение коннекций
11 сообщений из 11, страница 1 из 1
Отставание репликации и обрываение коннекций
    #40113304
pavel24071988
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pavel24071988
Гость
Здравствуйте

Может ли подсказать по чтению больших данных из кластера postgresql?
проблема похожа на queryconflict - у нас есть запрос чтения с реплики который в худшем случае выполняется 1 минуту, за это время реплика успевает накопить отставание репликации и в некоторых случаях обрывает коннекцию с ошибкой "canceling statement due to conflict with recovery", знакомы devoпсы утверждают, что это не решается методами настройки кластера, есть основания думать, что ребята не достаточно хорошо разбираются в предметной области.
Я глубоко убежден что мы далеко не единственные в мире кто с этим сталкивался но решить мы это, пока, не можем.

заранее спасибо за помощь ребят.
...
Рейтинг: 0 / 0
20.11.2021, 09:38
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113305
pavel24071988
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pavel24071988
Гость
https://stackoverflow.com/questions/14592436/postgresql-error-canceling-statement-due-to-conflict-with-recovery

это пробовали - не помогло
...
Рейтинг: 0 / 0
20.11.2021, 09:43
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113314
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
pavel24071988
https://stackoverflow.com/questions/14592436/postgresql-error-canceling-statement-due-to-conflict-with-recovery

это пробовали - не помогло

Код: sql
1.
hot_standby_feedback = on


а это?
...
Рейтинг: 0 / 0
20.11.2021, 11:47
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113692
pavel24071988
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pavel24071988
Гость
Здравствуйте. С этим параметром экспериментировали, но начинает подтормаживать мастер и не успевает отрабатывать автовакуум.
...
Рейтинг: 0 / 0
22.11.2021, 11:33
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113694
pavel24071988
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pavel24071988
Гость
нам очень не понятно что на, относительно, слабых локальных машинах, запросы выполнятся вообще без проблем - мгновенно
я конечно понимаю что на локальной машине нет кластера и реплики - но чисто логически - разве для этого нужны мощные сервера и все отделы dba + sre что испытывать такие проблемы ?)))
...
Рейтинг: 0 / 0
22.11.2021, 11:48
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113790
Melkomyagkii_newbi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkomyagkii_newbi
Участник
pavel24071988,

я не постгресист, но думаю что мог слететь план запроса из-за особенностей окружения(которых нет на локальных тачках) или из-за них же план не оптимален(много каких-то объектов в каких-то вьюхах/таблицах словаря/юзерских). Может он какие-то данные нужные для репликации щупает и они с реплиакцией как-то лочатся в общем - запрос, план, статистику по данным в студию.

ЗЫ Выглядит как вопрос для форума по постгре, в Работе публикуют задачи за решение которых готовы деньгу платить.

Модератор: Тема перенесена из форума "Работа".
...
Рейтинг: 0 / 0
22.11.2021, 15:04
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113814
pavel24071988
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pavel24071988
Гость
по графикам нагрузки очень похоже что мы упираемся в диск - на наших нодаг 8гБ ОЗУ - решили увеличить до 32гБ и посмотреть, возможно поможет
наверное дня два будем эксперементировать
@Melkomyagkii_newbi, так мы бы заплатили, милый человек, только кому и сколько платить то?
...
Рейтинг: 0 / 0
22.11.2021, 16:13
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113875
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
pavel24071988
по графикам нагрузки очень похоже что мы упираемся в диск - на наших нодаг 8гБ ОЗУ - решили увеличить до 32гБ и посмотреть, возможно поможет
наверное дня два будем эксперементировать
@Melkomyagkii_newbi, так мы бы заплатили, милый человек, только кому и сколько платить то?


У вас собственно два варианта в таком случае
1)поставить на реплике max_standby_streaming_delay не 30s а то время сколько на ваши запросы требуется + hot_standby_feedback в off
(но надо понимать что реплика на это время может во время запроса отставать и если ваша бизнес логика требует чтобы реплика не отставала - это может быть неудобно)

или
2)поставить hot_standby_feedback = on и посмотреть не исправится ли ситуация.

Если есть возможность обычно держат 2 реплики - одна не отстающая для быстрых запросов и одна которая может отставать для всяких аналитических запросов и выгрузок по минуте или часу.

PS: "знакомы devoпсы утверждают, что это не решается методами настройки кластера" - no comments, понабрали по объявлениям

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
.
...
Рейтинг: 0 / 0
22.11.2021, 17:57
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113885
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
pavel24071988
но начинает подтормаживать мастер и не успевает отрабатывать автовакуум.

что значит подтормаживать?
автовакуум настраивать не пробовали?
...
Рейтинг: 0 / 0
22.11.2021, 18:00
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40113907
Melkomyagkii_newbi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkomyagkii_newbi
Участник
pavel24071988
по графикам нагрузки очень похоже что мы упираемся в диск - на наших нодаг 8гБ ОЗУ - решили увеличить до 32гБ и посмотреть, возможно поможет
наверное дня два будем эксперементировать
@Melkomyagkii_newbi, так мы бы заплатили, милый человек, только кому и сколько платить то?


Надо понять - почему упираетесь в диск? Какие сессии/процессы/запросы к этому приводят? Может дело в кривом плане или коде/логике приложений и тогда не факт что увеличение количества озу поможет. Потом, просто дать озу операционке не достаточно, надо как-то и субд их додать, а там возможно нужно конкретные области памяти увеличивать, а для этого надо понять каких не хватает..
...
Рейтинг: 0 / 0
22.11.2021, 18:24
| Ответить | Цитировать | Написать  
Отставание репликации и обрываение коннекций
    #40114042
Юниксберг
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Юниксберг
Участник
Приложите графики из системы мониторинга по io

pavel24071988
по графикам нагрузки очень похоже что мы упираемся в диск - на наших нодаг 8гБ ОЗУ - решили увеличить до 32гБ и посмотреть, возможно поможет
наверное дня два будем эксперементировать

Без дополнительной настройки шанс небольшой.
...
Рейтинг: 0 / 0
23.11.2021, 03:45
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Отставание репликации и обрываение коннекций
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=40114042&tid=1993775]:
 0ms
get settings:
 12ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 30ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 43ms
get tp. blocked users:
 1ms
others: 274ms
total:  395ms
созд. / загр.: 395ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]