Гость
Войти | Профиль | Очистить
Действия ...
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Производительнось (непонятные падения) / 10 сообщений из 10, страница 1 из 1
14.03.2017, 04:43
    #39418551
vak_200566
vak_200566
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
Примерно раз в неделю падает производительность сервера (само потом не взлетает): web приложение не работает.
Основные операции UPDATE, сервер виртуальный. Становится много запросо с временем выполнения секунда и более.
Не могу определить узкое место : почему падает производительность.

Данные на момент аварийности:

Код: plsql
1.
2.
3.
4.
5.
# select version();
                                                     version                                                     
-----------------------------------------------------------------------------------------------------------------
 PostgreSQL 9.5.6 on x86_64-pc-linux-gnu, compiled by gcc (Ubuntu 5.4.0-6ubuntu1~16.04.4) 5.4.0 20160609, 64-bit
(1 row)





Код: plsql
1.
2.
3.
4.
5.
# select count(*) from pg_stat_activity;
 count 
-------
    37
(1 row)



pg_top
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
last pid:  8459;  load avg:  6.27,  5.30,  4.83;       up 4+21:13:13   08:35:15
27 processes: 24 sleeping, 3 uninterruptable
CPU states: 19.9% user,  0.0% nice,  2.4% system, 42.8% idle, 34.8% iowait
Memory: 5637M used, 330M free, 18M buffers, 4442M cached
DB activity: 328 tps,  0 rollbs/s,   6 buffer r/s, 99 hit%,  10659 row r/s,   1
DB I/O:   499 reads/s,  3392 KB/s,    20 writes/s,   817 KB/s  
DB disk: 291.7 GB total, 230.7 GB free (20% used)
Swap: 229M used, 2839M free, 33M cached

  PID USERNAME PRI NICE  SIZE   RES STATE   TIME   WCPU    CPU COMMAND
 8341 postgres  20    0 2519M 1333M sleep   0:11  7.37% 44.68% postgres: iss is
 8362 postgres  20    0 2515M  155M sleep   0:05  2.95% 13.70% postgres: iss is
 1494 postgres  20    0 2515M 2101M sleep   0:13  0.17%  1.79% postgres: iss is
 4944 postgres  20    0 2515M 2101M sleep   0:09  0.07%  0.60% postgres: iss is
 6780 postgres  20    0 2515M 1988M sleep   0:03  0.09%  0.60% postgres: iss is
 6781 postgres  20    0 2515M 2000M sleep   0:03  0.11%  0.60% postgres: iss is
 7170 postgres  20    0 2515M 2027M sleep   0:02  0.11%  0.60% postgres: iss is
 7234 postgres  20    0 2515M 2069M sleep   0:02  0.11%  0.60% postgres: iss is
 7236 postgres  20    0 2515M 2068M sleep   0:02  0.09%  0.60% postgres: iss is
 7237 postgres  20    0 2515M 2070M sleep   0:02  0.08%  0.60% postgres: iss is
 8168 postgres  20    0 2515M 2048M sleep   0:01  0.11%  0.60% postgres: iss is
 4485 postgres  20    0 2515M 2099M sleep   0:11  0.06%  0.40% postgres: iss is
 5394 postgres  20    0 2515M 2099M sleep   0:09  0.05%  0.40% postgres: iss is
 6314 postgres  20    0 2515M 2099M sleep   0:08  0.03%  0.40% postgres: iss is




Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
# vmstat 1 10
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 4  2 179648 408500  18856 5045632    3    3   225   113    7    1 15  2 69 15  0
 2  2 179648 420184  18856 5048452    0    0  2468   156 3140 4727 23  2 59 16  0
 1  2 179648 415568  18864 5051576    0    0  3084   280 3698 5552 22  2 55 21  0
 2  2 179648 392164  18864 5054684    0    0  2892   132 3572 5468 20  2 60 17  0
 1  4 179648 409144  18864 5057644    0    0  2228  1896 2854 3995 23  2 59 16  0
 1  3 179648 408152  18864 5058004    0    0   256  2600 1635 1227 11  1 48 40  0
 3  2 179648 383176  18864 5060360    0    0  2408   284 2557 3231 19  1 56 24  0
 2  2 179648 403732  18872 5063464    0    0  3152   340 2979 4407 16  1 59 23  0
 1  3 179648 399268  18880 5067808    0    0  3796   336 3918 5755 31  2 51 16  0
 3  2 179616 375928  18880 5071160    0    0  3080   296 3111 4581 16  2 65 16  0



Размер основной таблицы:

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
# select pg_size_pretty(pg_relation_size('monitor_events'));
 pg_size_pretty 
----------------
 2673 MB

# select pg_size_pretty(pg_total_relation_size('monitor_events'));
 pg_size_pretty 
----------------
 26 GB



Есть подозрение , что дело в файловой системе, но как это подтвердить?
Подскажите , что можно еще посмотреть для выяснения причины?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2017, 10:18
    #39418633
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
autovacuum?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2017, 10:29
    #39418637
vak_200566
vak_200566
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
mefmanautovacuum?

Похоже на то. Искал поначалу не в нем. Сейчас смотрю конкретику.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2017, 10:38
    #39418641
vyegorov
vyegorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
vak_200566,

Настройки контрольных точек и фонового писателя какие? Что в `/etc/sysctl.conf`?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2017, 12:36
    #39418791
vak_200566
vak_200566
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
vyegorovvak_200566,

Настройки контрольных точек и фонового писателя какие? Что в `/etc/sysctl.conf`?

conf прикладывал.

А что должно быть sysctl.conf ? Что нужно посмотреть?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.03.2017, 14:05
    #39418909
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
vak_200566,

у вас все процессы в sleep что странно
может кто то таблицу заблокировал?

попробуйте посмотреть что вообще в pg_stat_activity в это время у вас творится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.03.2017, 04:18
    #39419412
vak_200566
vak_200566
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
Maxim Bogukvak_200566,

у вас все процессы в sleep что странно
может кто то таблицу заблокировал?

попробуйте посмотреть что вообще в pg_stat_activity в это время у вас творится.

В момент аварии pg_stat_activity 28-32 запросов.
Сейчас в конфиге прописал fsync=off стало 3-4 запросов.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.03.2017, 13:50
    #39419929
qwwq
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
vak_200566Maxim Bogukvak_200566,

у вас все процессы в sleep что странно
может кто то таблицу заблокировал?

попробуйте посмотреть что вообще в pg_stat_activity в это время у вас творится.

В момент аварии pg_stat_activity 28-32 запросов.
Сейчас в конфиге прописал fsync=off стало 3-4 запросов.
важно не сколько там запросов , а сколько сессий в каком статусе.
ещё локи смотреть

за fsync=off сажать на кол и отрывать орешки
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
16.03.2017, 07:38
    #39420434
vak_200566
vak_200566
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
Проблему решил так:

1. fsync=off
2.Основную таблицу разделил на две - оперативную и архивную.
3.Перенес postgresql на отдельный сервер.

Пока работает.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
16.03.2017, 09:14
    #39420471
Alexius
Alexius
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Производительнось (непонятные падения)
vak_200566,

виртуалка, fsync = off, 1 воркер автовакуума с 100ms delay, поди и бэкапов нет. "I Also Like to Live Dangerously".
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Производительнось (непонятные падения) / 10 сообщений из 10, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 147ms
Закрыть
start [/forum/topic.php?fid=53&mobile=1&tid=1996655]:
 0ms
get settings:
 8ms
get forum list:
 12ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 42ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 47ms
get tp. blocked users:
 1ms
others: 14ms
total:  147ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]