powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / поменялась конфигурация сервера, но прироста производительности не получил
23 сообщений из 23, страница 1 из 1
поменялась конфигурация сервера, но прироста производительности не получил
    #39077774
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
Добрый день!

До недавнего времени на сервере бд postgresql-9.3 была такая конфигурация: CPU-Intel(R) Xeon(R) E5504 @ 2.00GHz, DDR 64Gb, ОС debian 7.

Заменили на CPU- Intel(R) Xeon(R) X5650 @ 2.67GHz, DDR 98Gb, ос debian7. Дисковая подсистема осталась примерно на том же уровне.

В основном тест проходил на проекте, где большое количество селектов к таблицам по (10-15гб в среднем). После замены не почувствовали прирост производительности. Увеличил размер shared_buffers с 10Gb до 30Gb. Но опять ничего не почувствовали.
htop показывает, что занято всего 2-3Гб из 98...
Проверил след параметры системы:
cat /proc/sys/kernel/shmall
18446744073692774399

cat /proc/sys/kernel/shmmax
18446744073692774399


Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
postgresql.conf
#------------------------------------------------------------------------------
# CONNECTIONS AND AUTHENTICATION
#------------------------------------------------------------------------------

# - Connection Settings -

listen_addresses = '*'		# what IP address(es) to listen on;
					# comma-separated list of addresses;
					# defaults to 'localhost'; use '*' for all
					# (change requires restart)
port = 5432				# (change requires restart)
max_connections = 400			# (change requires restart)

#------------------------------------------------------------------------------
# RESOURCE USAGE (except WAL)
#------------------------------------------------------------------------------

# - Memory -

shared_buffers = 30GB			# min 128kB
					# (change requires restart)
temp_buffers = 128MB			# min 800kB
#max_prepared_transactions = 0		# zero disables the feature
					# (change requires restart)
# Note:  Increasing max_prepared_transactions costs ~600 bytes of shared memory
# per transaction slot, plus lock space (see max_locks_per_transaction).
# It is not advisable to set max_prepared_transactions nonzero unless you
# actively intend to use prepared transactions.
work_mem = 64MB			# min 64kB
maintenance_work_mem = 8GB		# min 1MB
max_stack_depth = 6MB			# min 100kB

#------------------------------------------------------------------------------
# WRITE AHEAD LOG
#------------------------------------------------------------------------------

# - Settings -

wal_level = hot_standby			# minimal, archive, or hot_standby
					# (change requires restart)
fsync = on				# turns forced synchronization on or off
#synchronous_commit = on		# synchronization level;
					# off, local, remote_write, or on
#wal_sync_method = fsync		# the default is the first option
					# supported by the operating system:
					#   open_datasync
					#   fdatasync (default on Linux)
					#   fsync
					#   fsync_writethrough
					#   open_sync
#full_page_writes = on			# recover from partial page writes
#wal_buffers = -1			# min 32kB, -1 sets based on shared_buffers
					# (change requires restart)
#wal_writer_delay = 200ms		# 1-10000 milliseconds

#commit_delay = 0			# range 0-100000, in microseconds
#commit_siblings = 5			# range 1-1000

# - Checkpoints -

checkpoint_segments = 128		# in logfile segments, min 1, 16MB each
#checkpoint_timeout = 5min		# range 30s-1h
checkpoint_completion_target = 0.8	# checkpoint target duration, 0.0 - 1.0
#checkpoint_warning = 30s		# 0 disables


Подскажите пожалуйста, почему такое происходит, почему такое потребление памяти?
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39077782
tadmin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2,
Вы рестартовали pg после увеличения shared_buf?
Дисковая система какая у вас? Подозрение на sata диски...
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39077790
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2,

Так сервер меняют только в самом конце оптимизации когда все остальные возможности исчерпаны.
Оптимизация начинается с анализа какие запросы занимают больше всего ресурсов и каких (CPU или Диски).
Потом пробуют вылечить эти запросы (индексами или переписыванием самих запросов), потом смотрят на конфиг базы на предмет тонкого тюнинга.
И только после этого точно понимая в чем проблема и что ее не получается исправить другими мерами - смотрят на новое железо (точно понимая что от него надо с т.з. производительности дисков и CPU).

А по вашему описанию вы ничего этого не сделали и где узкое место не очень понимаете.

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39077798
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
tadmin,

да грузил конечно, программный рэид из 2-х sata дисков (черные wd).
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39077804
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
Maxim Boguk,

у нас попросту не было времени, пришлось рубить сплеча...
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39077812
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
Не понятно почему такое потребление памяти идёт, всего 2гб из 98...
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39077839
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2Не понятно почему такое потребление памяти идёт, всего 2гб из 98...

А какой размер базы у вас?
Что говорит show shared_buffers; в базе?
Чем вы потребление памяти смотрите (и какое именно поле)?

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39078239
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
Maxim Boguk,

1. размер базы 209Gb
2. show shared_buffers = 30Gb
3. потребление памяти смотрю системными утилитами (free, htop)
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39078324
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2Maxim Boguk,

у нас попросту не было времени, пришлось рубить сплеча...кхм. плечевые детектид

авторпоменялась конфигурация сервера, но прироста производительности не получилтак это же замечательно -- вас попрут, наймут вменяемого спеца. одним плечевым меньше -- уже хлеб.


PS хинт: где перечень типовых запросов, в которых "не получили прироста производительности" , ddl участвующих в них табличек, планы, анализ очередей на разделяемые ресурсы, вот это вот всё
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39078332
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2Добрый день!
....
Дисковая подсистема осталась примерно на том же уровне.
....
не почувствовали прирост производительности.
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39078369
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
qwwq,

Спасибо за информацию. Идея с заменой сервера была не моя, я хотел разобраться во всем последовательно, посмотреть explain запросов и т.д..
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39078784
westvovik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
gk2,

Я бы на вашем месте хотябы поменял диски на SAS, у нас в свое время тоже были проблемы, при переходе с SATA WD на SAS Seagate 15 000 rpm стало намного все быстрее
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39078791
alexy_black
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
westvovikgk2, ... поменял диски на SAS
похоже вопрос в том, почему ddr простаивает..

может я и не прав, но мне кажестя если запросы одни и те же данные будут запрашивать (все, что нужно в кеш запишеться), получиться именно такая ситуация. может там что-то с запросами не то?

а если получится, что это так, то понятно почему нет повышения производительности - оно должн обыло быть за счет увеличения рама, но это ничего не дает, потмоу что данные и на старом железе шли уже из рама.
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39079020
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2qwwq,

Спасибо за информацию. Идея с заменой сервера была не моя, я хотел разобраться во всем последовательно, посмотреть explain запросов и т.д..

В общем для начала посмотреть на загрузку дисковой подсистемы.
А использование памяти скорее всего вы неправильно расшифровываете выводы используемых утилит :).

PS: на нагруженных серьезных базах дисковая подсистема по цене составляет 60-80% стоимости сервера и про это не стоит забывать (обычно почему то именно на дисковой подсистеме любят экономить а потом страдают).

--
Maxim Boguk
www.postgresql-consulting.ru
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39082968
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Буфера уменьшить надо сильно. Например до 4gb. Может помочь заметно.
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39083007
I-rish
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
gk2,
удалось что-нибудь сделать для ускорения?
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39084444
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
Добрый день, очень благодарен за рекомендации! На данный момент разработчики исправили ошибки в проекте, что дало ускорение в работе проекта. Помониторил через iostat загрузку дисковой подсистемы по совету Maxim Boguk и пока не обнаружил большой нагрузки, продолжу. По хорошему надо заменить подсистему, но этот сервер у нас был в наличии и пустовал (для покупки дисковой подсистемы нужны будут веские основания:) )
Misha Tyurin я попробую уменьшить память, проверю в понедельник и сразу отпишусь. Но у меня честно говоря не укладывается в голове, как это может помочь) Может мы здесь полагаемся, на то, что Linux и так кэширует данные и лучше освободить ресурсы для системы?!
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39085615
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2,

Да)
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39087126
Фотография Misha Tyurin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2,

еще у вас слабенькая машинка, но при этом вы ставите
max_connections = 400

если все придут -- будет совсем плохо.

делайте pgbouncer впереди в транзакшин пулинге и давайте штук 30-40 коннектов максимум в него
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39088816
gk2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
gk2
Гость
Misha Tyurin, попробовал обрезать до 4Gb shared_buffers, но никаких изменений не произошло, ускорения не получили. Спасибо за рекомендацию по pg_bouncer!
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
поменялась конфигурация сервера, но прироста производительности не получил
    #39487080
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
https://arstechnica.com/civis/viewtopic.php?f=20&t=1116107 For the X56xx CPUs, if you run one or two dual-ranked DIMMs on a channel, the speed can be as high as 666MHz (DDR3-1333). If you add the third DIMM, the maximum speed drops to 400MHz (DDR3-800), but the CAS drops as well.

The current limit for two dual-ranked registered DIMMs on a channel with X56xx CPUs is 96GB (12x8GB). That's a LOT of memory. If the OP needs more than that, then slower memory is fine. Otherwise, the OP should get the faster memory.

Такие дела.

Нужно по капельке уничтожать старые сервера на Xeon.
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39487081
netwind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я, собсно, что хотел.

Из вашего опыта, если в подобной же конфигурации обснимаю памяти и получу таки 1333Mhz, действительно ли лимитируемые памятью операции в СУБД в среднем должны улучшиться прямо пропорционально, т.е. в 1.6 раз?

Ситуация, как мне кажется, нередкая.
...
Рейтинг: 0 / 0
поменялась конфигурация сервера, но прироста производительности не получил
    #39487127
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
gk2 Помониторил через iostat загрузку дисковой подсистемы по совету Maxim Boguk и пока не обнаружил большой нагрузки, продолжу.
медитировать на вывод iostat и htop? просто прекрасно я считаю)))
...
Рейтинг: 0 / 0
23 сообщений из 23, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / поменялась конфигурация сервера, но прироста производительности не получил
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]