Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Пропадает "сеть" с постгри / 11 сообщений из 11, страница 1 из 1
20.11.2018, 07:18
    #39735399
____Dmitry____
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
Прошу помощи. На дебиане 9 стоит постгри 9.6.8, там же сервер 1с, все работало отлично, но после большого переноса между базами со службой постгри стало нестабильное соединение. Сам хост пингуется, иные сетевые службы работают штатно и стабильно, а с портом 5432 часто обрывы и таймауты. Так же 1С ERP например теперь с трудом ходит на интернет ресурсы, хотя непосредственно на сервере интернет работает отлично, без затупов, со стабильным пингом и с хорошей скоростью.

Как пример при резервном копировании часто такое сообщение:
pg_dump: [archiver (db)] connection to database "postgres" failed: could not connect to server: Connection timed out (0x0000274C/10060)
Is the server running on host "10.100.100.4" and accepting
TCP/IP connections on port 5432?

но со второй попытки в основном бэкап запускается.

Сервер перезагружал, общие показатели загрузки памяти, процессора и сети штатные.
Что проверить, что прочистить?
...
Рейтинг: 0 / 0
20.11.2018, 10:34
    #39735466
EDUARD SAPOTSKI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
В postgresql.conf что о параметрах сети сказано?
...
Рейтинг: 0 / 0
20.11.2018, 10:38
    #39735470
EDUARD SAPOTSKI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
И вообще, pgtune использовали?
...
Рейтинг: 0 / 0
20.11.2018, 11:28
    #39735492
____Dmitry____
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
EDUARD SAPOTSKI,

pgtune не использовал, при первичной настройке только какой-то скрипт выполнял, он пару параметров памяти высчитывал.
Pgtune вижу явно нужен, хотя бы потому что при 80Гб оперативки у меня shared_buffers=128Mb, вечером поставлю рекомендуемые параметры.

По сети:
listen_addresses = '*'
port = 5432
max_connections = 100 тут для 1С наверно лучше 10 поставить?
...
Рейтинг: 0 / 0
20.11.2018, 11:41
    #39735500
EDUARD SAPOTSKI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
____Dmitry____хотя бы потому что при 80Гб оперативки у меня shared_buffers=128Mb
Вполне логично что 1Ц постгрес улаживает.
____Dmitry____max_connections = 100 тут для 1С наверно лучше 10 поставить?
Нет. Как раз поставить скорее всего нужно больше. Но предварительно нужно посмотреть сколько у Вас в среднем открытых соединений висит.

SELECT COUNT(*) FROM pg_stat_activity;
...
Рейтинг: 0 / 0
20.11.2018, 12:01
    #39735517
____Dmitry____
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
EDUARD SAPOTSKI
SELECT COUNT(*) FROM pg_stat_activity;

В целом нормальные значения, текущие 100 вполне подходят, но на одной давно не используемой базе показало 24.
...
Рейтинг: 0 / 0
20.11.2018, 12:40
    #39735554
EDUARD SAPOTSKI
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
____Dmitry____EDUARD SAPOTSKISELECT COUNT(*) FROM pg_stat_activity;

В целом нормальные значения, текущие 100 вполне подходят, но на одной давно не используемой базе показало 24.
Ну в целом, как я вижу ситуацию:
Вы выделили постгресу ресурсы калькулятора, при этом есть 1Ц у которой под капотом ORM, который лепит постгресу 100500 далеко не самых ровных запросов каждую секунду.
Быстро он их обработать не может (ресурсов нет), количество висящий подключений растет.
В какой-то момент выбирает лимит в 100 подключений и последующие подключений ресетит.
А может и не выбирает. Просто какие-то запросы выжирают все ресурсы, на другие запросы ресурсов не хватает.
Т.е. первое что Вам нужно сделать - дать ресурсы постгресу.
И обратите внимание на effective_cache_size, что бы постгрес лишний раз по дискам не шастал.

А если у Вас на неиспользуемой базе показало 24 подключения... Кто-то же их открыл? Ищите приложение, которое конектится к этой базе и разбирайтесь почему оно их открывает и не закрывает.
...
Рейтинг: 0 / 0
21.11.2018, 10:03
    #39735953
____Dmitry____
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
Попробовал такие параметры:

max_connections = 50
shared_buffers = 15GB
effective_cache_size = 40GB
maintenance_work_mem = 2GB
checkpoint_completion_target = 0.9
wal_buffers = 16MB
default_statistics_target = 100
random_page_cost = 1.1
effective_io_concurrency = 200
work_mem = 209715kB
min_wal_size = 1GB
max_wal_size = 2GB

Совсем ничего не изменилось, быстрее тоже работать не стало, но тут и раньше претензий не было. Даже возникло подозрение, что может я не тот конфиг правил, но нет все верно, в /etc/postgresql/9.6/main

Может стоит перейти на 10.5?
...
Рейтинг: 0 / 0
21.11.2018, 10:23
    #39735961
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
____Dmitry____Попробовал такие параметры:

max_connections = 50
shared_buffers = 15GB
effective_cache_size = 40GB
maintenance_work_mem = 2GB
checkpoint_completion_target = 0.9
wal_buffers = 16MB
default_statistics_target = 100
random_page_cost = 1.1
effective_io_concurrency = 200
work_mem = 209715kB
min_wal_size = 1GB
max_wal_size = 2GB

Совсем ничего не изменилось, быстрее тоже работать не стало, но тут и раньше претензий не было. Даже возникло подозрение, что может я не тот конфиг правил, но нет все верно, в /etc/postgresql/9.6/main

Может стоит перейти на 10.5?

Почему вы вообще считаете что у вас проблема с базой а не с firewall или с сетью по пути или с настройками самого сервера?
Локально есть проблемы с базой соеднится по tcp?
Вам нормальный линуксовый админ нужен на день-два умеющий tcpdump и включать голову.
А так как вы - искать в темноте без фонаря неизвестно чего можно долго и совершенно безрезультатно.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
22.11.2018, 07:45
    #39736530
____Dmitry____
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
Maxim Boguk,

Такое мнение от того что иные службы работают совершенно штатно, как-то ssh, vnc, web, служба 1С. Банальные тесты пингом и прокачкой больших файлов не показывают провалов. И еще заметил, что таймауты ловят не все пользователи одновременно, проблема плавающая от одного к другому.
А вот как локально проверить не знаю, пока ни разу таймаут не словил, но надо как-то продолжительно подержать соединение с 5432.
Как вариант пытаюсь делать полный бэкап сервера, но всегда в одном месте не хватает памяти:

pg_dump: ПРЕДУПРЕЖДЕНИЕ: нехватка разделяемой памяти
pg_dump: ПРЕДУПРЕЖДЕНИЕ: нехватка разделяемой памяти
pg_dump: ПРЕДУПРЕЖДЕНИЕ: нехватка разделяемой памяти
pg_dump: Ошибка выгрузки таблицы "config": сбой в PQgetResult().
pg_dump: Сообщение об ошибке с сервера: ОШИБКА: invalid memory alloc request size 1170049513
pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;
pg_dumpall: ошибка pg_dump для базы данных "ka4", выход...

сейчас повоюю, с этой проблемой и поставлю бэкапы делать например в цикле
...
Рейтинг: 0 / 0
07.12.2018, 09:22
    #39744007
Alex URS
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Пропадает "сеть" с постгри
____Dmitry____...показатели загрузки памяти, процессора и сети штатные.
Что проверить, что прочистить?

tcp_keepalive_*
ну и + sysctl
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Пропадает "сеть" с постгри / 11 сообщений из 11, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]