Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / поменялась конфигурация сервера, но прироста производительности не получил / 23 сообщений из 23, страница 1 из 1
15.10.2015, 15:36
    #39077774
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Добрый день!

До недавнего времени на сервере бд postgresql-9.3 была такая конфигурация: CPU-Intel(R) Xeon(R) E5504 @ 2.00GHz, DDR 64Gb, ОС debian 7.

Заменили на CPU- Intel(R) Xeon(R) X5650 @ 2.67GHz, DDR 98Gb, ос debian7. Дисковая подсистема осталась примерно на том же уровне.

В основном тест проходил на проекте, где большое количество селектов к таблицам по (10-15гб в среднем). После замены не почувствовали прирост производительности. Увеличил размер shared_buffers с 10Gb до 30Gb. Но опять ничего не почувствовали.
htop показывает, что занято всего 2-3Гб из 98...
Проверил след параметры системы:
cat /proc/sys/kernel/shmall
18446744073692774399

cat /proc/sys/kernel/shmmax
18446744073692774399


Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
postgresql.conf
#------------------------------------------------------------------------------
# CONNECTIONS AND AUTHENTICATION
#------------------------------------------------------------------------------

# - Connection Settings -

listen_addresses = '*'		# what IP address(es) to listen on;
					# comma-separated list of addresses;
					# defaults to 'localhost'; use '*' for all
					# (change requires restart)
port = 5432				# (change requires restart)
max_connections = 400			# (change requires restart)

#------------------------------------------------------------------------------
# RESOURCE USAGE (except WAL)
#------------------------------------------------------------------------------

# - Memory -

shared_buffers = 30GB			# min 128kB
					# (change requires restart)
temp_buffers = 128MB			# min 800kB
#max_prepared_transactions = 0		# zero disables the feature
					# (change requires restart)
# Note:  Increasing max_prepared_transactions costs ~600 bytes of shared memory
# per transaction slot, plus lock space (see max_locks_per_transaction).
# It is not advisable to set max_prepared_transactions nonzero unless you
# actively intend to use prepared transactions.
work_mem = 64MB			# min 64kB
maintenance_work_mem = 8GB		# min 1MB
max_stack_depth = 6MB			# min 100kB

#------------------------------------------------------------------------------
# WRITE AHEAD LOG
#------------------------------------------------------------------------------

# - Settings -

wal_level = hot_standby			# minimal, archive, or hot_standby
					# (change requires restart)
fsync = on				# turns forced synchronization on or off
#synchronous_commit = on		# synchronization level;
					# off, local, remote_write, or on
#wal_sync_method = fsync		# the default is the first option
					# supported by the operating system:
					#   open_datasync
					#   fdatasync (default on Linux)
					#   fsync
					#   fsync_writethrough
					#   open_sync
#full_page_writes = on			# recover from partial page writes
#wal_buffers = -1			# min 32kB, -1 sets based on shared_buffers
					# (change requires restart)
#wal_writer_delay = 200ms		# 1-10000 milliseconds

#commit_delay = 0			# range 0-100000, in microseconds
#commit_siblings = 5			# range 1-1000

# - Checkpoints -

checkpoint_segments = 128		# in logfile segments, min 1, 16MB each
#checkpoint_timeout = 5min		# range 30s-1h
checkpoint_completion_target = 0.8	# checkpoint target duration, 0.0 - 1.0
#checkpoint_warning = 30s		# 0 disables


Подскажите пожалуйста, почему такое происходит, почему такое потребление памяти?
...
Рейтинг: 0 / 0
15.10.2015, 15:40
    #39077782
tadmin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2,
Вы рестартовали pg после увеличения shared_buf?
Дисковая система какая у вас? Подозрение на sata диски...
...
Рейтинг: 0 / 0
15.10.2015, 15:43
    #39077790
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2,

Так сервер меняют только в самом конце оптимизации когда все остальные возможности исчерпаны.
Оптимизация начинается с анализа какие запросы занимают больше всего ресурсов и каких (CPU или Диски).
Потом пробуют вылечить эти запросы (индексами или переписыванием самих запросов), потом смотрят на конфиг базы на предмет тонкого тюнинга.
И только после этого точно понимая в чем проблема и что ее не получается исправить другими мерами - смотрят на новое железо (точно понимая что от него надо с т.з. производительности дисков и CPU).

А по вашему описанию вы ничего этого не сделали и где узкое место не очень понимаете.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
15.10.2015, 15:47
    #39077798
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
tadmin,

да грузил конечно, программный рэид из 2-х sata дисков (черные wd).
...
Рейтинг: 0 / 0
15.10.2015, 15:49
    #39077804
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Maxim Boguk,

у нас попросту не было времени, пришлось рубить сплеча...
...
Рейтинг: 0 / 0
15.10.2015, 15:54
    #39077812
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Не понятно почему такое потребление памяти идёт, всего 2гб из 98...
...
Рейтинг: 0 / 0
15.10.2015, 16:19
    #39077839
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2Не понятно почему такое потребление памяти идёт, всего 2гб из 98...

А какой размер базы у вас?
Что говорит show shared_buffers; в базе?
Чем вы потребление памяти смотрите (и какое именно поле)?

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
16.10.2015, 08:22
    #39078239
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Maxim Boguk,

1. размер базы 209Gb
2. show shared_buffers = 30Gb
3. потребление памяти смотрю системными утилитами (free, htop)
...
Рейтинг: 0 / 0
16.10.2015, 10:15
    #39078324
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2Maxim Boguk,

у нас попросту не было времени, пришлось рубить сплеча...кхм. плечевые детектид

авторпоменялась конфигурация сервера, но прироста производительности не получилтак это же замечательно -- вас попрут, наймут вменяемого спеца. одним плечевым меньше -- уже хлеб.


PS хинт: где перечень типовых запросов, в которых "не получили прироста производительности" , ddl участвующих в них табличек, планы, анализ очередей на разделяемые ресурсы, вот это вот всё
...
Рейтинг: 0 / 0
16.10.2015, 10:24
    #39078332
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2Добрый день!
....
Дисковая подсистема осталась примерно на том же уровне.
....
не почувствовали прирост производительности.
...
Рейтинг: 0 / 0
16.10.2015, 11:00
    #39078369
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
qwwq,

Спасибо за информацию. Идея с заменой сервера была не моя, я хотел разобраться во всем последовательно, посмотреть explain запросов и т.д..
...
Рейтинг: 0 / 0
16.10.2015, 16:58
    #39078784
westvovik
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2,

Я бы на вашем месте хотябы поменял диски на SAS, у нас в свое время тоже были проблемы, при переходе с SATA WD на SAS Seagate 15 000 rpm стало намного все быстрее
...
Рейтинг: 0 / 0
16.10.2015, 17:08
    #39078791
alexy_black
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
westvovikgk2, ... поменял диски на SAS
похоже вопрос в том, почему ddr простаивает..

может я и не прав, но мне кажестя если запросы одни и те же данные будут запрашивать (все, что нужно в кеш запишеться), получиться именно такая ситуация. может там что-то с запросами не то?

а если получится, что это так, то понятно почему нет повышения производительности - оно должн обыло быть за счет увеличения рама, но это ничего не дает, потмоу что данные и на старом железе шли уже из рама.
...
Рейтинг: 0 / 0
17.10.2015, 04:14
    #39079020
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2qwwq,

Спасибо за информацию. Идея с заменой сервера была не моя, я хотел разобраться во всем последовательно, посмотреть explain запросов и т.д..

В общем для начала посмотреть на загрузку дисковой подсистемы.
А использование памяти скорее всего вы неправильно расшифровываете выводы используемых утилит :).

PS: на нагруженных серьезных базах дисковая подсистема по цене составляет 60-80% стоимости сервера и про это не стоит забывать (обычно почему то именно на дисковой подсистеме любят экономить а потом страдают).

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
22.10.2015, 01:24
    #39082968
Misha Tyurin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Буфера уменьшить надо сильно. Например до 4gb. Может помочь заметно.
...
Рейтинг: 0 / 0
22.10.2015, 07:57
    #39083007
I-rish
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2,
удалось что-нибудь сделать для ускорения?
...
Рейтинг: 0 / 0
23.10.2015, 11:21
    #39084444
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Добрый день, очень благодарен за рекомендации! На данный момент разработчики исправили ошибки в проекте, что дало ускорение в работе проекта. Помониторил через iostat загрузку дисковой подсистемы по совету Maxim Boguk и пока не обнаружил большой нагрузки, продолжу. По хорошему надо заменить подсистему, но этот сервер у нас был в наличии и пустовал (для покупки дисковой подсистемы нужны будут веские основания:) )
Misha Tyurin я попробую уменьшить память, проверю в понедельник и сразу отпишусь. Но у меня честно говоря не укладывается в голове, как это может помочь) Может мы здесь полагаемся, на то, что Linux и так кэширует данные и лучше освободить ресурсы для системы?!
...
Рейтинг: 0 / 0
24.10.2015, 17:59
    #39085615
Misha Tyurin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2,

Да)
...
Рейтинг: 0 / 0
26.10.2015, 16:31
    #39087126
Misha Tyurin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2,

еще у вас слабенькая машинка, но при этом вы ставите
max_connections = 400

если все придут -- будет совсем плохо.

делайте pgbouncer впереди в транзакшин пулинге и давайте штук 30-40 коннектов максимум в него
...
Рейтинг: 0 / 0
28.10.2015, 12:16
    #39088816
gk2
gk2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Misha Tyurin, попробовал обрезать до 4Gb shared_buffers, но никаких изменений не произошло, ускорения не получили. Спасибо за рекомендацию по pg_bouncer!
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
12.07.2017, 01:44
    #39487080
netwind
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
https://arstechnica.com/civis/viewtopic.php?f=20&t=1116107 For the X56xx CPUs, if you run one or two dual-ranked DIMMs on a channel, the speed can be as high as 666MHz (DDR3-1333). If you add the third DIMM, the maximum speed drops to 400MHz (DDR3-800), but the CAS drops as well.

The current limit for two dual-ranked registered DIMMs on a channel with X56xx CPUs is 96GB (12x8GB). That's a LOT of memory. If the OP needs more than that, then slower memory is fine. Otherwise, the OP should get the faster memory.

Такие дела.

Нужно по капельке уничтожать старые сервера на Xeon.
...
Рейтинг: 0 / 0
12.07.2017, 01:47
    #39487081
netwind
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
Я, собсно, что хотел.

Из вашего опыта, если в подобной же конфигурации обснимаю памяти и получу таки 1333Mhz, действительно ли лимитируемые памятью операции в СУБД в среднем должны улучшиться прямо пропорционально, т.е. в 1.6 раз?

Ситуация, как мне кажется, нередкая.
...
Рейтинг: 0 / 0
12.07.2017, 08:52
    #39487127
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
поменялась конфигурация сервера, но прироста производительности не получил
gk2 Помониторил через iostat загрузку дисковой подсистемы по совету Maxim Boguk и пока не обнаружил большой нагрузки, продолжу.
медитировать на вывод iostat и htop? просто прекрасно я считаю)))
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / поменялась конфигурация сервера, но прироста производительности не получил / 23 сообщений из 23, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]