Снижение нагрузки на сервер / PostgreSQL

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Снижение нагрузки на сервер

25 сообщений из 34, страница 1 из 2

все

Снижение нагрузки на сервер

#39465026

chipakunos

Гость

Есть база для приложения на C#. Для подключения к базе используется Npgsql-драйвер.
Сервер 5.5Gb RAM, Intel(R) Xeon(R) CPU E5430 @ 2.66GHz, SSD
В пиковые часы использования может в секунду приходить по 100 запросов чтения и средняя нагрузка на процессор составляет 70%. Слой бизнес-логики 100% на клиенте.
Запись может идти только в другую базу на этом же сервере.
Данные меняются раз в квартал (раз в три месяца).
Как можно снизить нагрузку на процессор сервера? Ибо во время пиковых нагрузок время отклика приложения возрастает в 2-10 раз.
Уже работаю над кэшированием (пишу свой кэш). Может можно ещё что-нибудь предпринять?

...

Рейтинг:

0 / 0

02.06.2017, 22:28

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465086

Melkij

Участник

Откуда: Санкт-Петербург

Сообщения: 1 447

Рейтинг: 0 / 0

chipakunos,

поставьте расширение pg_stat_statements и настройте в кроне отправку вот такого отчёта себе на почту. Ну или сами периодически смотрите во вьюшку pg_stat_statements. Будете видеть, на какие запросы база тратила время.

Всего-то на 100 запросах в секунду у вас гарантированно нет каких-то индексов или сами запросы странные.

...

Рейтинг:

0 / 0

03.06.2017, 08:54

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465645

chipakunos

Гость

Melkij,

посмотрел pg_stat_statements. Больше всего total time у запроса с джойном 5 таблиц (не очень больших, но всё же) и фильтрацией по трём параметрам. Пробовал улучшать запрос, но безуспешно. Всевозможные индексы есть и используются.

...

Рейтинг:

0 / 0

05.06.2017, 03:53

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465686

Maxim Boguk

Участник

Откуда: Melbourne, Австралия

Сообщения: 5 148

Рейтинг: 0 / 0

chipakunosMelkij,

посмотрел pg_stat_statements. Больше всего total time у запроса с джойном 5 таблиц (не очень больших, но всё же) и фильтрацией по трём параметрам. Пробовал улучшать запрос, но безуспешно. Всевозможные индексы есть и используются.

Это уже другой вопрос. Приводите ваш запрос и его explain analyze. Можно будет подумать.

--
Maxim Boguk
dataegret.ru

...

Рейтинг:

0 / 0

05.06.2017, 08:56

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465753

chipakunos

Гость

Maxim Boguk,
Вот сам запрос:

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.

SELECT ticker, rm.hierarchy, rfy.fiscal_year, rv.value, rm.id, rm.id_parent, rm.name
FROM revenue_metrick AS rm
JOIN revenue_value AS rv ON rv.id_metrick=rm.id
JOIN revenue_type_metricks AS rtm ON rtm.id=rm.id_type
JOIN revenue_fiscal_year AS rfy ON rfy.id=rv.id_fiscal_year
JOIN company ON company.id=rfy.id_company 
WHERE ticker = 'AZLK'
AND fiscal_year = '2016-01-01'
AND rtm.name = 'assets_g'

и его explain
[SRC sql"Nested Loop (cost=1.28..1597.88 rows=1 width=138)
Output: company.ticker, rm.hierarchy, rfy.fiscal_year, rv.value, rm.id, rm.id_parent, rm.name
Join Filter: (rm.id_type = rtm.id)
-> Nested Loop (cost=1.28..1596.83 rows=1 width=142)
Output: rm.hierarchy, rm.id, rm.id_parent, rm.name, rm.id_type, rv.value, rfy.fiscal_year, company.ticker
-> Nested Loop (cost=0.99..1596.52 rows=1 width=27)
Output: rv.value, rv.id_metrick, rfy.fiscal_year, company.ticker
-> Nested Loop (cost=0.57..16.62 rows=1 width=19)
Output: rfy.fiscal_year, rfy.id, company.ticker
-> Index Scan using fi_company_name on public.company (cost=0.29..8.30 rows=1 width=15)
Output: company.ticker, company.id
Index Cond: (company.ticker = 'AZLK'::bpchar)
-> Index Scan using revenue_fiscal_year_pkey on public.revenue_fiscal_year rfy (cost=0.29..8.31 rows=1 width=12)
Output: rfy.id_company, rfy.id, rfy.fiscal_year, rfy.end_of_fiscal_year
Index Cond: ((rfy.fiscal_year = '2016-01-01'::date) AND (rfy.id_company = company.id))
-> Index Scan using revenue_value_id_metrick_id_fiscal_year_idx on public.revenue_value rv (cost=0.42..1579.67 rows=23 width=16)
Output: rv.id, rv.id_metrick, rv.id_fiscal_year, rv.value
Index Cond: (rv.id_fiscal_year = rfy.id)
-> Index Scan using revenue_metrick_id_idx on public.revenue_metrick rm (cost=0.29..0.31 rows=1 width=119)
Output: rm.id, rm.id_type, rm.id_parent, rm.hierarchy, rm.name
Index Cond: (rm.id = rv.id_metrick) -> Seq Scan on public.revenue_type_metricks rtm (cost=0.00..1.04 rows=1 width=4)
Output: rtm.id, rtm.name
Filter: (rtm.name = 'assets_g'::bpchar)
][/SRC]

...

Рейтинг:

0 / 0

05.06.2017, 10:57

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465783

chipakunos

Гость

Maxim Boguk,
и его explain в читабельном виде

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.

Nested Loop  (cost=1.28..1597.88 rows=1 width=138)
  Output: company.ticker, rm.hierarchy, rfy.fiscal_year, rv.value, rm.id, rm.id_parent, rm.name
  Join Filter: (rm.id_type = rtm.id)
  ->  Nested Loop  (cost=1.28..1596.83 rows=1 width=142)
        Output: rm.hierarchy, rm.id, rm.id_parent, rm.name, rm.id_type, rv.value, rfy.fiscal_year, company.ticker
        ->  Nested Loop  (cost=0.99..1596.52 rows=1 width=27)
              Output: rv.value, rv.id_metrick, rfy.fiscal_year, company.ticker
              ->  Nested Loop  (cost=0.57..16.62 rows=1 width=19)
                    Output: rfy.fiscal_year, rfy.id, company.ticker
                    ->  Index Scan using fi_company_name on public.company  (cost=0.29..8.30 rows=1 width=15)
                          Output: company.ticker, company.id
                          Index Cond: (company.ticker = 'AZLK'::bpchar)
                    ->  Index Scan using revenue_fiscal_year_pkey on public.revenue_fiscal_year rfy  (cost=0.29..8.31 rows=1 width=12)
                          Output: rfy.id_company, rfy.id, rfy.fiscal_year, rfy.end_of_fiscal_year
                          Index Cond: ((rfy.fiscal_year = '2016-01-01'::date) AND (rfy.id_company = company.id))
              ->  Index Scan using revenue_value_id_metrick_id_fiscal_year_idx on public.revenue_value rv  (cost=0.42..1579.67 rows=23 width=16)
                    Output: rv.id, rv.id_metrick, rv.id_fiscal_year, rv.value
                    Index Cond: (rv.id_fiscal_year = rfy.id)
        ->  Index Scan using revenue_metrick_id_idx on public.revenue_metrick rm  (cost=0.29..0.31 rows=1 width=119)
              Output: rm.id, rm.id_type, rm.id_parent, rm.hierarchy, rm.name
              Index Cond: (rm.id = rv.id_metrick)  ->  Seq Scan on public.revenue_type_metricks rtm  (cost=0.00..1.04 rows=1 width=4)
        Output: rtm.id, rtm.name
        Filter: (rtm.name = 'assets_g'::bpchar)

...

Рейтинг:

0 / 0

05.06.2017, 11:23

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465794

Павел Лузанов

Участник

Сообщения: 866

Рейтинг: 0 / 0

chipakunos,

Покажите результат EXPLAIN ANALYZE, а не просто EXPLAIN.

...

Рейтинг:

0 / 0

05.06.2017, 11:36

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465802

chipakunos

Гость

Павел Лузанов,

EXPLAIN ANALYZE

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.

Nested Loop  (cost=1.28..1597.88 rows=1 width=138) (actual time=0.839..0.839 rows=0 loops=1)
  Output: company.ticker, rm.hierarchy, rfy.fiscal_year, rv.value, rm.id, rm.id_parent, rm.name
  Join Filter: (rm.id_type = rtm.id)
  Buffers: shared hit=1 read=1
  I/O Timings: read=0.610
  ->  Nested Loop  (cost=1.28..1596.83 rows=1 width=142) (actual time=0.833..0.833 rows=0 loops=1)
        Output: rm.hierarchy, rm.id, rm.id_parent, rm.name, rm.id_type, rv.value, rfy.fiscal_year, company.ticker
        Buffers: shared hit=1 read=1
        I/O Timings: read=0.610
        ->  Nested Loop  (cost=0.99..1596.52 rows=1 width=27) (actual time=0.829..0.829 rows=0 loops=1)
              Output: rv.value, rv.id_metrick, rfy.fiscal_year, company.ticker
              Buffers: shared hit=1 read=1
              I/O Timings: read=0.610
              ->  Nested Loop  (cost=0.57..16.62 rows=1 width=19) (actual time=0.827..0.827 rows=0 loops=1)
                    Output: rfy.fiscal_year, rfy.id, company.ticker
                    Buffers: shared hit=1 read=1
                    I/O Timings: read=0.610
                    ->  Index Scan using fi_company_name on public.company  (cost=0.29..8.30 rows=1 width=15) (actual time=0.819..0.819 rows=0 loops=1)
                          Output: company.ticker, company.id
                          Index Cond: (company.ticker = 'AZLK'::bpchar)
                          Buffers: shared hit=1 read=1
                          I/O Timings: read=0.610
                    ->  Index Scan using revenue_fiscal_year_pkey on public.revenue_fiscal_year rfy  (cost=0.29..8.31 rows=1 width=12) (never executed)
                          Output: rfy.id_company, rfy.id, rfy.fiscal_year, rfy.end_of_fiscal_year
                          Index Cond: ((rfy.fiscal_year = '2016-01-01'::date) AND (rfy.id_company = company.id))
              ->  Index Scan using revenue_value_id_metrick_id_fiscal_year_idx on public.revenue_value rv  (cost=0.42..1579.67 rows=23 width=16) (never executed)
                    Output: rv.id, rv.id_metrick, rv.id_fiscal_year, rv.value
                    Index Cond: (rv.id_fiscal_year = rfy.id)
        ->  Index Scan using revenue_metrick_id_idx on public.revenue_metrick rm  (cost=0.29..0.31 rows=1 width=119) (never executed)
              Output: rm.id, rm.id_type, rm.id_parent, rm.hierarchy, rm.name
              Index Cond: (rm.id = rv.id_metrick)
  ->  Seq Scan on public.revenue_type_metricks rtm  (cost=0.00..1.04 rows=1 width=4) (never executed)
        Output: rtm.id, rtm.name
        Filter: (rtm.name = 'assets_g'::bpchar)
Planning time: 1.945 ms
Execution time: 1.166 ms

...

Рейтинг:

0 / 0

05.06.2017, 11:57

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465822

Павел Лузанов

Участник

Сообщения: 866

Рейтинг: 0 / 0

chipakunos,

Это на реальной базе, не на тестовой?
Впечатление, что по условию company.ticker = 'AZLK' всё-таки строка должна найтись, а её нет.

...

Рейтинг:

0 / 0

05.06.2017, 12:50

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465828

chipakunos

Гость

Павел Лузанов,

это на реальной базе и этот запрос работает, но долго. Скажите, пожалуйста, как вы увидели, что строка не нашлась?

...

Рейтинг:

0 / 0

05.06.2017, 13:02

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465848

chipakunos

Гость

Павел Лузанов,

Мой завтык, вот другой запрос

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.

Nested Loop  (cost=1.28..1597.88 rows=1 width=138) (actual time=5.408..5.408 rows=0 loops=1)
  Output: company.ticker, rm.hierarchy, rfy.fiscal_year, rv.value, rm.id, rm.id_parent, rm.name
  Join Filter: (rm.id_type = rtm.id)
  Rows Removed by Join Filter: 15
  Buffers: shared hit=645
  ->  Nested Loop  (cost=1.28..1596.83 rows=1 width=142) (actual time=0.167..5.237 rows=15 loops=1)
        Output: rm.hierarchy, rm.id, rm.id_parent, rm.name, rm.id_type, rv.value, rfy.fiscal_year, company.ticker
        Buffers: shared hit=630
        ->  Nested Loop  (cost=0.99..1596.52 rows=1 width=27) (actual time=0.157..5.032 rows=15 loops=1)
              Output: rv.value, rv.id_metrick, rfy.fiscal_year, company.ticker
              Buffers: shared hit=585
              ->  Nested Loop  (cost=0.57..16.62 rows=1 width=19) (actual time=0.047..0.057 rows=1 loops=1)
                    Output: rfy.fiscal_year, rfy.id, company.ticker
                    Buffers: shared hit=6
                    ->  Index Scan using fi_company_name on public.company  (cost=0.29..8.30 rows=1 width=15) (actual time=0.024..0.026 rows=1 loops=1)
                          Output: company.ticker, company.id
                          Index Cond: (company.ticker = 'A'::bpchar)
                          Buffers: shared hit=3
                    ->  Index Scan using revenue_fiscal_year_pkey on public.revenue_fiscal_year rfy  (cost=0.29..8.31 rows=1 width=12) (actual time=0.016..0.018 rows=1 loops=1)
                          Output: rfy.id_company, rfy.id, rfy.fiscal_year, rfy.end_of_fiscal_year
                          Index Cond: ((rfy.fiscal_year = '2016-01-01'::date) AND (rfy.id_company = company.id))
                          Buffers: shared hit=3
              ->  Index Scan using revenue_value_id_metrick_id_fiscal_year_idx on public.revenue_value rv  (cost=0.42..1579.67 rows=23 width=16) (actual time=0.104..4.916 rows=15 loops=1)
                    Output: rv.id, rv.id_metrick, rv.id_fiscal_year, rv.value
                    Index Cond: (rv.id_fiscal_year = rfy.id)
                    Buffers: shared hit=579
        ->  Index Scan using revenue_metrick_id_idx on public.revenue_metrick rm  (cost=0.29..0.31 rows=1 width=119) (actual time=0.005..0.006 rows=1 loops=15)
              Output: rm.id, rm.id_type, rm.id_parent, rm.hierarchy, rm.name
              Index Cond: (rm.id = rv.id_metrick)
              Buffers: shared hit=45
  ->  Seq Scan on public.revenue_type_metricks rtm  (cost=0.00..1.04 rows=1 width=4) (actual time=0.004..0.006 rows=1 loops=15)
        Output: rtm.id, rtm.name
        Filter: (rtm.name = 'assets_g'::bpchar)
        Rows Removed by Filter: 2
        Buffers: shared hit=15
Planning time: 1.138 ms
Execution time: 5.492 ms

...

Рейтинг:

0 / 0

05.06.2017, 13:32

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465851

Павел Лузанов

Участник

Сообщения: 866

Рейтинг: 0 / 0

chipakunosэто на реальной базе и этот запрос работает, но долго.
А долго это сколько? Второй запрос отработал за 5мс, это долго?

...

Рейтинг:

0 / 0

05.06.2017, 13:42

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465856

Павел Лузанов

Участник

Сообщения: 866

Рейтинг: 0 / 0

chipakunos

Код: plaintext

1.
2.
3.

                    ->  Index Scan using fi_company_name on public.company  (cost=0.29..8.30 rows=1 width=15) ( actual  time=0.819..0.819  rows=0  loops=1)
                          Output: company.ticker, company.id
                          Index Cond: ( company.ticker = 'AZLK' ::bpchar)

...

Рейтинг:

0 / 0

05.06.2017, 13:44

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465886

chipakunos

Гость

Павел Лузанов,

Просто я не могу понять, почему средняя нагрузка процессора в пиковых два часа больше 70% и время отклика приложения увеличивается до 10 раз? Если запросы более нельзя оптимизировать и индексы навешены и используются.
Может быть дело в механизме подключения к серверу?

...

Рейтинг:

0 / 0

05.06.2017, 14:23

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465907

mefman

Участник

Сообщения: 1 562

Рейтинг: 0 / 0

chipakunosПавел Лузанов,

Просто я не могу понять, почему средняя нагрузка процессора в пиковых два часа больше 70% и время отклика приложения увеличивается до 10 раз? Если запросы более нельзя оптимизировать и индексы навешены и используются.
Может быть дело в механизме подключения к серверу?
Кроме процессора больше ничего мониторите?

...

Рейтинг:

0 / 0

05.06.2017, 14:52

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465940

Павел Лузанов

Участник

Сообщения: 866

Рейтинг: 0 / 0

chipakunos,

Может нужно внимательно смотреть что именно в эти два часа происходит. И не только в базе.

...

Рейтинг:

0 / 0

05.06.2017, 15:19

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39465984

chipakunos

Гость

Павел Лузанов,

На сервере только база, больше ничего нет. Проц грузят процессы postmaster (смотрел top), они просто плодятся быстрее, чем обрабатываются, на сколько я понимаю. При 6 ядрах у меня висит минимум 20 процессов postmaster.

...

Рейтинг:

0 / 0

05.06.2017, 15:50

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466000

chipakunos

Гость

mefman,

Забыл скзаать про память, всегда свободно ещё минимум 200 мб ОЗУ.
swap всего 16М, используется на 100%

...

Рейтинг:

0 / 0

05.06.2017, 15:57

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466002

mefman

Участник

Сообщения: 1 562

Рейтинг: 0 / 0

chipakunosmefman,

Забыл скзаать про память, всегда свободно ещё минимум 200 мб ОЗУ.
swap всего 16М, используется на 100%
что с io?
какой вообще мониторинг есть?
чем отличается загрузка бд/машины в спокойные и не спокойные часы?

...

Рейтинг:

0 / 0

05.06.2017, 15:59

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466017

chipakunos

Гость

mefman,

Весь мониторинг - это смотреть real-time в top. Zabbix только планируем поставить, ибо пока всё работало стабильно, надобности в нём не было. iotop не посмотрел, к сожалению. Гляну в следующий раз обязательно.

...

Рейтинг:

0 / 0

05.06.2017, 16:11

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466024

chipakunos

Гость

mefmanчем отличается загрузка бд/машины в спокойные и не спокойные часы?
В не спокойные часы нагрузка просто стабильно на уровне 70-100% продолжительное время. В Спокойные просто 20-30%, иногда бывают еденичные вспышки на 70-100%.

...

Рейтинг:

0 / 0

05.06.2017, 16:16

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466027

mefman

Участник

Сообщения: 1 562

Рейтинг: 0 / 0

chipakunosmefman,
Весь мониторинг - это смотреть real-time в top.
Удачи (

...

Рейтинг:

0 / 0

05.06.2017, 16:21

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466548

LeXa NalBat

Участник

Откуда: Москва

Сообщения: 2 843

Рейтинг: 0 / 0

chipakunos... процессы postmaster ... плодятся быстрее, чем обрабатываются ...То есть частые короткие сессии из одного или нескольких запросов? В этом случае стоит использовать Pgpool?

...

Рейтинг:

0 / 0

06.06.2017, 11:29

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466591

chipakunos

Гость

LeXa NalBat,

Именно так, короткие частые сессии в основном из одного запроса. Сейчас почитаю о pgpool-II.

...

Рейтинг:

0 / 0

06.06.2017, 12:00

| Ответить | Цитировать | Написать

Снижение нагрузки на сервер

#39466595

Melkij

Участник

Откуда: Санкт-Петербург

Сообщения: 1 447

Рейтинг: 0 / 0

Лучше не надо pgpool. Возьмите человеческий pgbouncer. Если приложение не обидится, то лучше в режиме пула транзакций.

...

Рейтинг:

0 / 0

06.06.2017, 12:02

| Ответить | Цитировать | Написать

25 сообщений из 34, страница 1 из 2

все

Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Снижение нагрузки на сервер

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=53&fpage=71&tid=1996430]:	0ms
get settings:	10ms
get forum list:	14ms
check forum access:	4ms
check topic access:	4ms
track hit:	30ms
get topic data:	13ms
get forum data:	3ms
get page messages:	72ms
get tp. blocked users:	2ms
others:	15ms

total:	167ms